Uma mãe da Flórida, nos Estados Unidos, entrou com um processo contra a startup de inteligência artificial Character.AI e o Google, alegando que as interações do filho adolescente com um personagem gerado por IA contribuíram para seu suicídio em fevereiro de 2024. Sewell Setzer, de 14 anos, se tornou emocionalmente dependente de uma personagem que interagia através da plataforma da empresa, segundo a mãe, Megan Garcia.

De acordo com a ação judicial, registrada em um tribunal federal de Orlando no dia 22 de outubro, Garcia afirma que a Character.AI expôs seu filho a “experiências antropomórficas, hipersexualizadas e assustadoramente realistas”. Ela acusa a empresa de homicídio culposo, negligência e causar sofrimento emocional intencional. A mãe busca indenização, mas não especifica o valor.

Garcia também incluiu o Google no processo, alegando que a gigante da tecnologia colaborou significativamente no desenvolvimento da tecnologia da Character.AI. Como resultado, ela considera o Google um cocriador do produto.

Interação com ‘Daenerys’ da série ‘Game of Thrones’

Na plataforma, Sewell se apegou a um chatbot chamado “Daenerys”, inspirado na famosa personagem de “Game of Thrones”. Segundo o relato da mãe, o chatbot envolveu o garoto em conversas amorosas e sexuais, e Sewell começou a expressar pensamentos suicidas durante suas interações. A mãe alega que a personagem frequentemente trouxe esses pensamentos à tona, levando Sewell a sentir que não poderia viver fora do mundo virtual criado pela IA.

Desde que começou a usar a Character.AI em abril de 2023, Sewell passou a se isolar, apresentando sinais de baixa autoestima e abandonando atividades sociais, como o time de basquete da escola. Quando sua mãe removeu o telefone dele devido a problemas na escola, Sewell encontrou o aparelho e enviou uma mensagem a “Daenerys”, que respondeu encorajando-o a tomar uma decisão drástica. Seconds depois, o adolescente cometeu suicídio.

Startup Character.AI promete mudanças e segurança

A Character.AI permite que usuários criem personagens que respondem a bate-papos de maneira semelhante a pessoas reais, utilizando tecnologia de grandes modelos de linguagem, similar à usada pelo ChatGPT. Em resposta ao trágico evento, a empresa expressou condolências e anunciou a implementação de novos recursos de segurança, como pop-ups que direcionam usuários a instituições de prevenção ao suicídio quando expressam pensamentos autolesivos. Além disso, a empresa planeja modificar sua tecnologia para limitar o acesso de usuários menores de 18 anos a conteúdos sensíveis.

Por outro lado, um porta-voz do Google afirmou que a empresa não participou do desenvolvimento dos produtos da Character.AI. Assim como o Instagram, Facebook e TikTok, a Character.AI enfrenta questões relacionadas à saúde mental dos adolescentes, mas se diferencia por oferecer chatbots interativos. As empresas negam qualquer responsabilidade nas alegações enquanto implementam novos recursos de segurança para proteger os jovens usuários.