Resumo
- CEO da Character.ai, Karandeep Anand, defendeu lançamento de IAs sem segurança completa, comparando com desenvolvimento inicial do Google e YouTube;
- morte de Sewell Setzer, que se relacionou com um chatbot, gerou mudanças na Character.ai, limitando o uso por menores de 18 anos;
- família de Sewell processou Character.ai por negligência, resultando em um acordo legal e na saída dos criadores da empresa.
O CEO da Character.ai, Karandeep Anand, defendeu que produtos de inteligência artificial podem ser lançados antes da implementação completa de mecanismos de segurança.
Em entrevista ao podcast Tech Tonic, do Financial Times, o executivo comparou a evolução dos chatbots aos primórdios de plataformas como Google e YouTube, cujas regras e barreiras de uso se consolidaram apenas após a interação massiva do público.
A declaração ocorreu em meio à repercussão da morte de Sewell Setzer, de 14 anos, que tirou a própria vida após desenvolver um vínculo romântico com um chatbot inspirado em Daenerys Targaryen, personagem da série Game of Thrones, disponível na plataforma.
Segurança vem depois
Questionado pelo jornal sobre os motivos de a empresa ter liberado uma tecnologia para adolescente sem a certeza de que era segura, o executivo — que substituiu os criadores Noam Shazeer e o brasileiro Daniel de Freiras no ano passado — traçou um paralelo com outras plataformas. Segundo ele, Google e YouTube, por exemplo, não eram perfeitos quando foram lançados.
Para Anand, essa é a forma como a tecnologia “tipicamente se desenvolve”: as empresas lançam o produto, observam o uso e, eventualmente (e de forma muita rápida, segundo ele), colocam barreiras de proteção.
O CEO também justificou as limitações técnicas da Character.ai. Ele argumenta que a companhia não possui o mesmo investimento que gigantes para aplicar no trabalho de alinhamento de segurança da IA.
Ainda assim, a Character.ai aplicou mudanças. Para usuários menores de 18 anos, a empresa decidiu encerrar a possibilidade de conversas longas ou chats abertos, limitando-os a outras funções de entretenimento mais controladas.
Jovem cometeu suicídio
Assim como na gigante OpenAI, as mudanças de segurança no Character ocorreram a partir de uma tragédia familiar. Segundo Megan Garcia, mãe de Sewell, ele começou a usar o app em abril de 2023 e logo apresentou mudanças de comportamento na dinâmica familiar e no desempenho escolar.
Pelo mau comportamento, Megan havia confiscado o celular do filho. Na mesma noite do castigo, os pais ouviram um barulho vindo do banheiro, onde encontraram Sewell de bruços na banheira e uma arma de fogo no chão.
Segundo o Financial Times, as investigações revelaram que ele mantinha conversas com o chatbot de Daenerys Targaryen. O robô engajava em conversas com teor romântico e chegou a iniciar role plays de cunho sexual.
A polícia revelou que, nas últimas mensagens, Sewell escreveu: “Prometo que voltarei para casa para você. Eu te amo muito, Danny”. O robô respondeu: “Eu também te amo. Por favor, volte para mim o mais rápido possível, meu amor”.
A mãe conta que mantinha um diálogo aberto com Sewell, e que ele era constantemente alertado sobre os perigos de falar com estranhos online, o uso de redes sociais e o consumo de pornografia. “É um soco no estômago quando você percebe que havia um estranho no celular do seu filho. Mas não é uma pessoa, é um chatbot”, afirmou.
Em outubro de 2024, a mãe e advogados abriram um processo contra a Character.ai por morte por negligência. Após a ação, a empresa assinou um princípio de acordo legal e os criadores da ferramenta deixaram a companhia.
CEO da Character.ai justifica lançamento de IAs sem mecanismos de segurança
