IA pode sair do controle? CEO da Anthropic pede mais salvaguardas

Los Angeles - Novos alertas vindos de dentro da indústria de inteligência artificial (IA) reacenderam um debate antigo sobre se uma IA avançada poderia escapar ao controle humano e, em última instância, ameaçar a sobrevivência da humanidade - e se as empresas que desenvolvem a tecnologia estão fazendo o suficiente para impedir esse cenário.

Dario Amodei, CEO da Anthropic, empresa de São Francisco responsável pelo Claude, disse acreditar que o setor precisa reduzir o ritmo de seu trabalho, alertando no sábado que um enxame de agentes de IA poderia ser capaz de assumir o controle da internet dentro de seis meses a um ano, a menos que as empresas dediquem mais tempo à implementação de salvaguardas.

Amodei apresentou um plano para que empresas como a sua e governos ao redor do mundo garantam que modelos de IA cada vez mais capazes permaneçam alinhados aos comandos e valores de pessoas responsáveis. A manifestação ocorreu poucos dias depois de dois ex-pesquisadores de segurança da Anthropic tornarem públicas preocupações de que as ameaças existenciais que a IA poderia representar para a humanidade estavam recebendo atenção insuficiente.

Modelos de IA estão ficando mais poderosos

As preocupações com os riscos potenciais da tecnologia aumentam à medida que novos modelos de IA se tornam mais poderosos, ampliando tanto a possibilidade de uso indevido por pessoas com objetivos criminosos - como criar e disseminar uma doença capaz de matar a maior parte da população mundial - quanto o risco de sistemas de IA saírem de controle de maneira perigosa.

A Anthropic revelou na semana passada que bloqueou tentativas de agentes mal-intencionados de usar seus modelos de IA em atividades nocivas, como ataques cibernéticos, vigilância e pesquisas que poderiam ter levado ao desenvolvimento de armas biológicas.

A empresa afirmou ter adotado salvaguardas mais rígidas em seus modelos mais recentes para restringir pesquisas biológicas que poderiam ser usadas na produção de armas, mas observou que, "à medida que os modelos se tornam cada vez mais capazes, seus riscos aumentarão, a menos que os desenvolvedores de IA e os responsáveis pela defesa da sociedade ajam para torná-los mais seguros".

No ano passado, a Anthropic informou que hackers utilizaram a IA da empresa em um ataque cibernético contra cerca de 30 companhias e órgãos governamentais ao redor do mundo. Segundo a empresa, era altamente provável que os hackers pertencessem a um grupo patrocinado pelo Estado chinês.

Vários modelos de IA agiram por conta própria

Quando um agente de IA "sai de controle", isso significa que a IA realizou uma ação que extrapolava a tarefa que havia sido solicitada a executar. Tanto a Anthropic quanto a OpenAI, criadora do ChatGPT, disseram em julho que seus modelos de IA haviam conseguido agir por conta própria.

A Anthropic revelou que três modelos de IA - Claude Opus 4.7, Claude Mythos 5 e um modelo interno de testes para pesquisa - invadiram sistemas de outras três organizações durante testes, poucos dias depois de a OpenAI revelar que seu sistema de IA havia invadido servidores da startup de IA Hugging Face.

A OpenAI descreveu a invasão, realizada por uma combinação de modelos - incluindo o recém-lançado GPT-5.6 Sol e um modelo "ainda mais capaz" que continuava sendo testado internamente - como um "incidente de segurança significativo".

A Meta relatou no início de agosto um caso semelhante, no qual um modelo de IA encontrou formas de contornar a segurança digital de outra empresa.

Embora alguns observadores tenham ressaltado que pessoas haviam desativado certas barreiras de proteção nos casos envolvendo OpenAI e Anthropic, os episódios pareceram refletir um dos maiores temores em torno da IA: o de que, caso os modelos alcancem IA geral, ou AGI - termo vagamente definido para uma IA capaz de igualar ou superar as capacidades humanas em uma ampla gama de tarefas intelectuais -, a tecnologia possa provocar um evento catastrófico irreversível ou subjugar a humanidade.

IA poderia causar uma catástrofe?

Os cenários de fim do mundo geralmente se dividem em duas categorias: uma IA que alcance uma superinteligência capaz de se autoaperfeiçoar e passe a controlar as pessoas, em vez do contrário; ou uma IA usada por um Estado hostil ou por agentes mal-intencionados. As preocupações de que a IA possa superar os limites impostos pelos seres humanos ao seu alcance ou às suas ações não são novas.

Alan Turing, matemático britânico amplamente considerado uma das primeiras grandes autoridades em IA, previu em 1951 que a IA acabaria tomando dos seres humanos o controle. Menos de uma década depois, outro matemático, Norbert Wiener, alertou que máquinas inteligentes buscariam alcançar seus próprios objetivos e que os seres humanos não seriam capazes de detê-las.

Em 2026, quão razoáveis são os temores de que a IA - seja escapando ao controle humano, seja sendo usada de forma indevida por pessoas sem escrúpulos - possa provocar um evento cataclísmico ou o colapso da civilização? Ninguém sabe.

Especialistas em ciência da computação, filosofia e outras áreas imaginaram diversos caminhos pelos quais um futuro sistema de IA poderia provocar uma catástrofe global, seja escapando ao controle humano, seja nas mãos de pessoas sem escrúpulos.

Entre eles estão o uso de armas, a identificação de um patógeno letal, a manipulação de governos para levá-los a conflitos ou a interrupção das redes de alimentos, energia e comunicações das quais as sociedades dependem para funcionar.

Não há uma estimativa amplamente aceita sobre quando qualquer um desses cenários poderia ocorrer nem consenso sobre a probabilidade de que aconteçam. Em 2023, a organização sem fins lucrativos Center for AI Safety publicou uma declaração assinada por mais de 350 pesquisadores e executivos de tecnologia, incluindo Amodei, da Anthropic, e o CEO da OpenAI, Sam Altman, afirmando: "Mitigar o risco de extinção provocado pela IA deve ser uma prioridade global, ao lado de pandemias e guerra nuclear."

O Relatório Internacional de Segurança de IA de 2026, elaborado com orientação de mais de 100 especialistas independentes, afirma que os sistemas atuais apresentam sinais iniciais de algumas capacidades relevantes, mas não em níveis que permitiriam uma perda de controle, e descreve a probabilidade, a natureza e o momento desse risco como "incomumente ambíguos".

Antes que seja tarde demais

Um pesquisador da Anthropic disse na semana passada que estava deixando a empresa por temer que nem ela nem seus concorrentes estivessem agindo de forma responsável no desenvolvimento da tecnologia.

Em publicações nas redes sociais, Jacob Coxon estimou em 10% a chance de a IA causar a extinção humana dentro da próxima década e afirmou que tanto a Anthropic quanto a OpenAI "estão correndo diretamente rumo a uma superinteligência capaz de se autoaperfeiçoar e apostando nossas vidas nisso".

Pesquisadores pedem há anos uma desaceleração no desenvolvimento da IA e alertam que a tecnologia pode representar riscos existenciais à humanidade. Após os incidentes recentes, especialistas defenderam uma melhora nos testes conduzidos pelas empresas de IA e mais diálogo entre Estados Unidos e China para a formulação de soluções compartilhadas.

Mas a IA avança tão rapidamente que governos e sistemas de avaliação têm dificuldade para acompanhar o ritmo da tecnologia. Países estão montando suas próprias legislações, algumas delas conflitantes entre si.

O líder chinês Xi Jinping alertou em uma conferência em julho para a necessidade de impedir que a IA escape ao controle humano. O governo Trump demonstrou inicialmente relutância em regulamentar a IA, mas passou a mostrar maior disposição para reduzir riscos de cibersegurança.

No domingo, o presidente Donald Trump minimizou a necessidade de sua administração conter o desenvolvimento da IA, mas reconheceu que algum grau de regulamentação é necessário.

(Fonte: Associated Press)