Resumo
- Mrinank Sharma, ex-líder da equipe de salvaguardas da Anthropic, demitiu-se citando pressões para abandonar valores éticos, afirmando que “o mundo está em perigo” devido a crises interconectadas.
- Sharma, com doutorado em aprendizado de máquina, trabalhou na Anthropic desde agosto de 2023, focando em defesas contra bioterrorismo assistido por IA e pesquisas sobre “sicofancia” de IA.
- O pedido de demissão de Sharma reflete preocupações éticas crescentes na indústria de IA, semelhante a casos anteriores na OpenAI e Google DeepMind, destacando a falta de transparência e pressões corporativas.
Em uma carta de demissão publicada na rede social X, um ex-pesquisador de segurança da Anthropic chamado Mrinank Sharma revelou sua preocupação com os rumos da indústria. Segundo ele, a companhia enfrenta dificuldades para manter os princípios éticos e “o mundo está em perigo”.
Sharma liderava a equipe de pesquisa de mitigação de riscos da Anthropic, dona da IA Claude, desde a criação do grupo no ano passado. Na carta, ele agradece a oportunidade de contribuir com a maior segurança das ferramentas, mas expõe sua frustração com a cultura corporativa do setor. “Vi repetidamente o quão difícil é realmente deixar nossos valores governarem nossas ações”, disse.
Com doutorado em aprendizado de máquina pela Universidade de Oxford, Sharma ingressou na Anthropic em agosto de 2023. Por lá, trabalhava com o desenvolvimento de defesas contra o bioterrorismo assistido por IA e pesquisas sobre “sicofancia” de IA, fenômeno em que chatbots concordam excessivamente ou elogiam o usuário para agradá-lo.
Crise de segurança e ética
Embora o trabalho de Sharma fosse focado em tecnologia, ele enfatizou que o perigo ao qual se refere não vem apenas da inteligência artificial, mas de uma “série de crises interconectadas se desenrolando neste exato momento”.
“Parecemos estar nos aproximando de um limiar em que nossa sabedoria deve crescer na mesma medida que nossa capacidade de afetar o mundo, sob o risco de enfrentarmos as consequências”, escreveu Sharma.
Ele acrescenta que viu na organização os funcionários enfrentarem constantemente “pressões para deixar de lado o que mais importa”, e que essa realidade deixou claro para ele que “chegou a hora de seguir em frente”.
Pouco antes da própria demissão, ele publicou um estudo indicando que o uso de chatbots pode levar os usuários a formar uma percepção distorcida da realidade, destacando a necessidade de sistemas projetados para “apoiar a autonomia humana”.
Críticas não são novidade
O pedido de demissão de Sharma soma-se a uma lista crescente de profissionais de segurança que deixaram grandes empresas de IA citando preocupações éticas.
O caso relembra a dissolução de uma equipe da OpenAI em 2024, como menciona a Forbes, após a saída de Jan Leike — que, curiosamente, hoje lidera a pesquisa de segurança na própria Anthropic.
Na época, Leike afirmou ter discordado da liderança da OpenAI sobre as prioridades centrais da empresa até atingir um “ponto de ruptura”.
Naquele mesmo ano, funcionários e ex-funcionários da OpenAI e do Google DeepMind lançaram uma carta aberta alertando que as companhias estariam sendo imprudentes para lançar produtos mais rápido que as concorrentes. Outra crítica do grupo visava a falta de transparência quanto às limitações e riscos dos modelos de IA.
Vez ou outra um figurão da indústria aparece para controlar as sobre uma indústria que vive no futuro. Há poucos meses, o próprio cofundador da OpenAI, Andrej Karpathy, disse que agentes de IA ainda são disfuncionais. Ferramentas do tipo estão em alta no setor, seja para te ajudar a fazer compras ou, em breve, para operar um robô que cuidará da sua casa.
Mundo está “em perigo”, diz ex-líder de segurança da Anthropic
