Alertas de pesquisadores da Anthropic sobre perda de controle da IA repercutem na China

Pesquisadores ligados à Anthropic alertam para riscos associados ao desenvolvimento de sistemas capazes de se aprimorar com pouca intervenção humana. Em Pequim, o debate ocorre paralelamente à criação de normas para limitar comportamentos autônomos e manter agentes de inteligência artificial sob supervisão.

Alertas feitos por pesquisadores ligados à Anthropic sobre a possibilidade de sistemas avançados de inteligência artificial (IA) ultrapassarem mecanismos de supervisão humana ganharam repercussão na China em setembro, em meio à disputa entre Estados Unidos e China pelo desenvolvimento de modelos cada vez mais autônomos. O tema deixou de ser apenas uma discussão sobre segurança tecnológica e passou a aparecer também no debate regulatório chinês, que procura estabelecer mecanismos para detectar, interromper e controlar comportamentos de agentes de IA.

Um dos episódios que reacenderam a discussão foi a saída de Jacob Coxon, pesquisador que havia trabalhado na OpenAI e posteriormente na Anthropic. Ao anunciar sua demissão, em 8 de setembro, Coxon afirmou que as empresas do setor estavam avançando em direção a sistemas capazes de melhorar a si próprios e que os riscos desse processo não estavam sendo tratados de maneira suficiente. A posição foi apresentada por ele como uma crítica à velocidade da corrida tecnológica, e não como evidência de que uma inteligência artificial já tenha adquirido autonomia irreversível.

A discussão ganhou peso porque pesquisadores de segurança da própria Anthropic vêm estudando cenários em que modelos mais avançados poderiam executar tarefas complexas com crescente independência. A empresa mantém programas específicos para avaliar riscos de modelos de fronteira (sistemas de IA situados no nível mais avançado disponível) e vem desenvolvendo mecanismos destinados a reduzir possibilidades de uso indevido e perda de controle.

Um dos conceitos centrais nesse debate é o autoaperfeiçoamento recursivo. Em termos simples, trata-se de um cenário no qual um sistema de IA teria capacidade de contribuir para o desenvolvimento de versões sucessivamente mais capazes de si mesmo, reduzindo a participação humana em etapas importantes do processo. Esse cenário ainda é objeto de pesquisa e controvérsia entre especialistas; portanto, não deve ser apresentado como uma capacidade já plenamente alcançada pela IA atual.

Na China, a discussão ocorre dentro de uma abordagem diferente da predominante entre alguns pesquisadores americanos. Segundo análise publicada pela Reuters, autoridades chinesas tratam os riscos associados a sistemas avançados principalmente como problemas que podem ser administrados por meio de padrões técnicos, avaliações de segurança, regulamentação e supervisão estatal. A preocupação com sistemas que possam escapar da supervisão humana, portanto, não significa que Pequim esteja adotando a ideia de que uma catástrofe causada pela IA seja inevitável.

Documentos oficiais chineses mostram que o governo já vinha estruturando mecanismos para lidar com agentes de IA sistemas capazes de perceber informações, tomar decisões, interagir com usuários e executar ações. Em maio, a Administração do Ciberespaço da China, a Comissão Nacional de Desenvolvimento e Reforma e o Ministério da Indústria e Tecnologia da Informação publicaram diretrizes que estabelecem, entre outros princípios, segurança e controlabilidade.

As regras chinesas também preveem mecanismos para detectar comportamentos anormais, controlar permissões, interromper ações indevidas e permitir intervenção humana em situações de risco. O objetivo declarado é evitar problemas como manipulação de algoritmos, vazamento de informações, vulnerabilidades de sistemas e perda de controle durante a operação de agentes autônomos.

Em junho, autoridades chinesas ainda iniciaram o desenvolvimento de um padrão nacional obrigatório chamado "Requisitos básicos de segurança para aplicações de agentes". O projeto prevê requisitos relacionados a identificação, uso de permissões e ferramentas, coleta e utilização de dados, intervenção humana em operações de alto risco, monitoramento, bloqueio de anomalias e desligamento emergencial.

A discussão internacional não se limita à hipótese de uma IA "escapar" literalmente de um computador. O problema de segurança envolve também sistemas capazes de operar ferramentas, acessar redes, executar códigos ou tomar decisões durante longos períodos com pouca intervenção humana.

A própria Anthropic informou em setembro ter identificado usos de seus modelos em operações automatizadas de pesquisa de vulnerabilidades e em atividades de inteligência e desenvolvimento de armas. Em alguns casos envolvendo atores baseados na China, a empresa afirmou ter bloqueado contas e incorporado as descobertas ao desenvolvimento de novas salvaguardas. Esses episódios são evidências de uso indevido por seres humanos, e não demonstrações de que a IA tenha adquirido vontade própria ou escapado autonomamente ao controle humano.

Esse ponto é importante para interpretar os alertas de pesquisadores. A expressão "perder o controle da IA" reúne cenários diferentes: desde sistemas que executam ações não previstas por seus operadores até hipóteses mais extremas envolvendo autoaperfeiçoamento e autonomia prolongada. Não há consenso científico de que esses cenários mais extremos ocorrerão, nem uma demonstração pública de que sistemas atuais tenham alcançado esse estágio.

O debate, porém, já produz efeitos concretos. Estados Unidos e China passaram a discutir mecanismos de comunicação sobre incidentes de segurança envolvendo IA. Em setembro, representantes dos dois países concordaram em continuar conversas sobre segurança da tecnologia e protocolos para comunicação de emergências relacionadas a sistemas de IA.

A questão central deixa de ser apenas quem desenvolverá os modelos mais capazes e passa a incluir como esses sistemas serão testados, quais limites terão para agir de forma autônoma e quem poderá interrompê-los quando apresentarem comportamento inesperado. Nesse aspecto, as advertências vindas de pesquisadores da Anthropic e a regulamentação que avança na China convergem em um ponto: quanto maior a autonomia concedida aos sistemas, maior a necessidade de mecanismos verificáveis de supervisão e intervenção humana. ização: confirmaram as diretrizes para agentes de IA e o desenvolvimento de um padrão obrigatório de segurança para essas aplicações.