Família alega que jovem tirou a própria vida após se apaixonar por perfil de IA
Mãe de Sewell Setzer, de 14 anos, está processando chatbot que se passava por um personagem do seriado Game of Thrones, por quem o jovem desenvolveu dependência emocional
Uma família da Flórida, nos Estados Unidos, sustenta que um adolescente de 14 anos tirou a própria vida após se “apaixonar” por um perfil de inteligência artificial que simulava um personagem do seriado Game of Thrones.
De acordo com o relato de Megan, seu filho, Sewell, começou a usar o Character.AI em abril de 2023, após completar 14 anos. Desde então, segundo ela, o jovem se tornou mais retraído, demonstrando falta de interesse em atividades escolares e abandonando até mesmo a hora do basquete da escola, o Junior Varsity, do que fazia parte.
VEJA MAIS
Em novembro do ano passado, Sewell foi levado a um terapeuta, que o diagnosticou com ansiedade e transtorno disruptivo de desregulação do humor. O profissional recomendou que o jovem reduzisse seu tempo na internet e nas redes sociais, sem saber, no entanto, que ele estava “viciado” no chatbot Character.AI
Meses depois, em fevereiro deste ano, Sewell se envolveu em um incidente na escola, onde chegou a responder a um professor que desejava ser expulso. No mesmo dia, escreveu em seu diário sobre a dor que sentia e que não conseguia parar de pensar em Daenerys Targaryen, personagem de Game of Thrones com quem ele interagia no chat de IA.
Em seu diário, Sewell chegou a registrar que estava apaixonado pelo perfil com quem mantinha diálogos diários, relatando que não conseguia passar um dia sequer sem interagir com o chatbot. Ele descrevia que, quando estavam “separados”, ambos, ele e o perfil virtual, “ficavam deprimidos e enlouqueciam”
Segundo a mãe do adolescente, o último contato de Sewell foi com o perfil do chatbot. Logo após o incidente escolar, ocorrido em 28 de fevereiro, Megan confiscou o celular do filho, mas devolveu-o dias depois. Após recuperar o aparelho, Sewell teria ido ao banheiro e enviado mensagem para o perfil de IA.
De acordo a mãe do adolescente, o chat com foto da personagem foi o último com quem Sewell falou antes de se matar.
“Prometo que voltarei para casa para você. Eu te amo muito, Dany”, escreveu o adolescente. "Por favor, volte para casa para mim o mais rápido possível, meu amor", disse o bot em resposta. Momentos após essa troca, de acordo com a família, Sewell tirou a sua vida.
O processo detalha a dependência emocional que Sewell desenvolveu em relação ao chatbot, mencionando até interações de cunho sexual, mesmo o adolescente sendo menor e tendo informado sua idade na plataforma. A ação judicial destaca que o uso do serviço levou a uma “dependência prejudicial” e que os diálogos íntimos entre Sewell e Daenerys duraram “semanas, possivelmente meses”.
Vivendo um pesadelo
Megan Garcia expressou o próprio sofrimento: “É como um pesadelo. Você quer se levantar, gritar e dizer: ‘Sinto falta do meu filho. Quero meu bebê'”. Além de buscar responsabilizar a empresa, a mãe espera que a ação impeça a personagem. AI de afetar outras crianças da mesma forma. Ela também interrompeu o uso contínuo dos dados do filho, que foram coletados
Megan Garcia moveu o processo contra a Character Technologies e os fundadores da empresa, acusando-os de negligência, homicídio culposo, práticas comerciais injustas, promoção intencional de software
Sobre o caso, um porta-voz da Character.AI afirmou: “Estamos de coração partido pela perda trágica de um de nossos usuários e queremos expressar nossas mais profundas condolências à família”.
A empresa ressaltou que, nos últimos seis meses, implementou várias medidas de segurança, incluindo um pop-up que direciona os usuários para a National Suicide Prevention Lifeline, caso palavras associadas à automutilação ou ideação suicida sejam bloqueadas. A Character.AI informou ainda que está introduzindo novos recursos de segurança específicos e que adotará medidas para reduzir o acesso de menores de 18 anos a conteúdo sensível.