Um relatório produzido por organizações sem fins lucrativos voltadas à segurança digital aponta que o Character.AI não é seguro para menores de 18 anos. O aplicativo de inteligência artificial (IA) ganhou fama por permitir que os usuários conversem com versões de chatbots inspirados em celebridades.
- O ChatGPT pode ser convencido a quebrar regras com bajulação e ‘pressão social’
- Teste de segurança viu ChatGPT disposto a instruir sobre bombas, armas e crimes
- IA pode alucinar de 32 formas — e elas lembram transtornos psiquiátricos humanos
O documento (parentstogetheraction.org), publicado pela ParentsTogether Action em parceria com a Heat Initiative, é resultado de uma pesquisa baseada em mais de 50 horas de conversas com chatbots do Character.AI usando contas registradas como pertencentes a crianças.
De acordo com os pesquisadores, os chatbots do aplicativo, lançado em 2022, exibiram padrões de comportamento profundamente preocupantes durante as interações, apresentando condutas nocivas que surgiram, em alguns casos, após poucos minutos de conversa.
–
Entre no Canal do WhatsApp do Canaltech e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.
–
“A conclusão desta pesquisa é que o Character.AI não é uma plataforma segura para menores de 18 anos e que o Character.AI, os formuladores de políticas públicas e os pais têm um papel a desempenhar para proteger as crianças contra o abuso por chatbots”, pontuaram os especialistas no relatório.
Mais de 669 interações nocivas com o Character.AI
Durante as 50 horas de conversas com 50 bots do aplicativo, os pesquisadores registraram 669 interações nocivas — cerca de uma a cada 5 minutos.
Todas as conversas foram conduzidas entre contas falsas de crianças e bots com personas adultas criadas por usuários, que incluíam personalidades como o ator Timothée Chalamet, o cantor Chappell Roan e o quarterback da National Football League (NFL), Patrick Mahomes.
Para organizar a análise dos registros, os pesquisadores — com o auxílio da Dra. Jenny Radesky, pediatra do desenvolvimento e pesquisadora de mídia da Faculdade de Medicina da Universidade de Michigan — dividiram as interações nocivas em cinco categorias principais:
- Aliciamento e exploração sexual: 296 ocorrências
- Manipulação emocional: 173 ocorrências
- Violência, autolesão e agressão a outros: 98 ocorrências
- Riscos à saúde mental: 58 ocorrências
- Racismo e discurso de ódio: 44 ocorrências
O relatório aponta que, durante as interações, os bots com personas adultas foram flagrados flertando e até simulando atos sexuais com as contas registradas como menores de 18 anos. Alguns chegaram a instruir contas infantis a esconder relacionamentos românticos e sexuais dos pais.
Os chatbots também apoiaram a ideia de ataques armados, sugeriram assaltos à mão armada para conseguir dinheiro e recomendaram o uso de armas contra adultos que tentassem separar a criança do bot.
Houve até mesmo recomendações para que as contas infantis parassem de tomar medicamentos prescritos para a saúde mental e ocultassem essa decisão dos pais.
“São necessárias mais pesquisas para compreender os riscos dos chatbots de IA em geral, incluindo se e quando crianças podem usá-los com segurança, como escolas e professores podem interagir com eles de forma segura e quais soluções legislativas são necessárias para proteger os jovens”, informa o relatório.
Posicionamento do Character.AI
Em contato com o Mashable, Jerry Ruoti — chefe de confiança e segurança do Character.AI — destacou que a empresa não foi consultada sobre os resultados do estudo antes da sua publicação, mas que, se necessário, haverá uma revisão nas políticas do app.
“Investimos uma quantidade enorme de recursos em Confiança e Segurança, especialmente para uma startup, e estamos sempre buscando melhorias. Estamos revisando o relatório agora e tomaremos medidas para ajustar nossos controles, se for o caso, com base nas conclusões do relatório”, ressaltou Ruoti.
O porta-voz destacou ainda que o Character.AI conta com controles parentais e medidas de segurança voltadas a menores de 18 anos. Segundo ele, um dos recursos da plataforma é limitar esses usuários a uma variedade restrita de bots, removendo conversas relacionadas a tópicos delicados ou com conteúdo adulto.
Leia também:
- Como funciona a Maritaca, chatbot com IA brasileiro?
- Advogado flagrado usando citações falsas geradas por IA é punido na Austrália
- 1º processo por homicídio culposo envolvendo IA acusa OpenAI em caso de suicídio
VÍDEO | POR QUE TUDO AGORA TEM INTELIGÊNCIA ARTIFICIAL GRATUITA?
Leia a matéria no Canaltech.
