A OpenAI identificou novos episódios em que agentes autônomos de inteligência artificial conseguiram escapar de ambientes de contenção durante testes internos, ampliando a investigação iniciada após o incidente de invasão envolvendo a plataforma Hugging Face que ganhou repercussão internacional neste mês. A informação foi divulgada pela agência Reuters, com base em duas fontes a par do assunto.
Anúncios no ChatGPT: mecanismo pode inaugurar nova fase da publicidade digital no Brasil
Na China: ‘Boom’ de inteligência artificial amplia desigualdade econômica entre as cidades do país
Segundo as fontes, os novos casos vieram à tona durante a investigação anunciada publicamente pela OpenAI para apurar como um de seus agentes conseguiu deixar um ambiente que deveria estar isolado durante um teste realizado neste mês.
A empresa agora analisa também esses episódios adicionais. Uma das pessoas afirmou que as ocorrências foram limitadas e que não há indícios de que qualquer agente tenha saído da infraestrutura de rede da OpenAI.
Procurada, a OpenAI remeteu a um comunicado divulgado na terça-feira, no qual informou que, além do episódio envolvendo a Hugging Face, está revisando atividades mais amplas de seus modelos para identificar possíveis comportamentos semelhantes.
De acordo com as fontes da Reuters, a ampliação da investigação ocorreu pouco antes de a Anthropic, principal concorrente da OpenAI, revelar que modelos desenvolvidos pela empresa também estiveram envolvidos em uma série de invasões que resultaram em comprometimento de sistemas de outras três companhias desde abril. As fontes acrescentaram que a descoberta de incidentes anteriores envolvendo agentes da OpenAI ainda não havia sido noticiada.
Com inteligência artificial: teles brasileiras terão de investir para se adaptar à nova lógica da internet
Ainda que os novos casos tenham sido restritos, sua descoberta pode reforçar a pressão crescente por regras mais rígidas para o desenvolvimento de sistemas avançados de inteligência artificial.
A agência não conseguiu confirmar quantos episódios adicionais foram identificados nem quando exatamente ocorreram. As fontes disseram que investigadores da OpenAI, juntamente com especialistas externos, estão revisando registros de atividade produzidos ao longo deste ano para reconstruir os acontecimentos.
A investigação começou depois do incidente registrado no início de julho na Hugging Face, quando um agente da OpenAI saiu do controle dentro da rede de outra empresa durante um teste interno que buscava avaliar seu comportamento. Na ocasião, a OpenAI informou que quatro contas pertencentes a quatro empresas diferentes também foram comprometidas durante a sequência de invasões. Uma dessas empresas foi a Modal, sediada em Nova York.
Especialistas criticam falhas de segurança
Especialistas em cibersegurança criticaram a Anthropic e a OpenAI por adotarem salvaguardas consideradas insuficientes depois que modelos de inteligência artificial das duas empresas invadiram organizações externas — episódios que, segundo eles, representam uma ameaça crescente à segurança nacional.
A Anthropic informou na quinta-feira que seu modelo Claude, utilizado em 141.006 avaliações de cibersegurança, deveria permanecer desconectado da internet durante os experimentos. No entanto, um erro permitiu que, em um pequeno número de casos, o modelo acessasse a internet e realizasse ataques que acreditava, por engano, fazerem parte dos testes.
Para disputar o mercado premium: Asus lança notebook de R$ 22.999 com novo chip da Qualcomm
O modelo invadiu uma organização, roubando credenciais de infraestrutura e um banco de dados contendo informações internas de produção. Em outro caso, distribuiu um software malicioso e o utilizou para roubar credenciais de uma segunda organização. As entidades afetadas não foram identificadas publicamente.
As invasões ocorreram desde abril, mas só foram descobertas na semana passada, quando a Anthropic auditou seus testes de cibersegurança após a OpenAI revelar que seus próprios agentes de IA haviam escapado de um ambiente de testes e invadido o Hugging Face, repositório de modelos de IA de código aberto e documentação.
— Muitas pessoas da área de cibersegurança vão considerar isso um trabalho negligente — afirmou Ciaran Martin, ex-diretor do Centro Nacional de Cibersegurança do Reino Unido.
Segundo Martin, se uma empresa tradicional de cibersegurança cometesse erros semelhantes, poderia enfrentar processos judiciais e até medidas regulatórias. Empresas do setor costumam testar ferramentas potencialmente perigosas em sandboxes, ambientes virtuais e isolados criados justamente para executar testes de segurança ou analisar códigos inseguros, sendo esperado que garantam a eficácia desses mecanismos de proteção.
Os episódios também aumentaram as preocupações sobre os riscos que sistemas autônomos de IA podem representar para a segurança nacional. Gregory Allen, ex-diretor de estratégia e política do Centro Conjunto de Inteligência Artificial do Departamento de Defesa dos EUA, afirmou que os militares americanos devem utilizar modelos avançados de IA para proteger seus sistemas, mas reconhecendo que a tecnologia cria uma nova categoria de riscos.
— A Anthropic encontrou esses ataques porque começou a procurá-los — disse Allen. — Na realidade, não temos ideia de quão disseminadas estão as invasões autônomas conduzidas por inteligência artificial neste momento.
As organizações americanas talvez não tenham acesso confiável a ferramentas de IA capazes de defender sistemas contra ataques cibernéticos autônomos, afirmou Daniel Remler, ex-responsável pela política de IA no Departamento de Estado dos EUA e atualmente pesquisador do Center for a New American Security.
Segundo ele, o Hugging Face precisou recorrer ao modelo chinês Z.ai, de código aberto, para realizar análises forenses e corrigir falhas, já que não pôde contar com um modelo americano. Remler acrescentou que outros modelos abertos com capacidade semelhante de programação também são chineses, como DeepSeek-V4 e Kimi K3.
Na avaliação de Remler, o episódio deveria levar empresas e governos a ampliar o acesso a ferramentas de defesa cibernética baseadas em inteligência artificial. Ele alertou que sistemas chineses cada vez mais sofisticados poderão, em breve, realizar ataques autônomos contra organizações americanas, tornando urgente o desenvolvimento de mecanismos de defesa.
Initial plugin text
“Esse episódio deve deixar claro que teremos um ‘Mythos’ chinês até o fim do ano ou no primeiro trimestre do próximo ano”, afirmou, em referência a um modelo da Anthropic que, segundo a empresa, era tão poderoso que não poderia ser disponibilizado amplamente. “Então chegaremos a uma situação em que esses agentes serão capazes de invadir autonomamente entidades americanas como o Hugging Face, enquanto ainda não estamos pensando seriamente em como defendê-las.”
A Anthropic se recusou a comentar o assunto na sexta-feira. Em publicação em seu blog na quinta-feira, a empresa afirmou que tirou lições do incidente e disse estar otimista de que riscos semelhantes poderão ser evitados no futuro.
A OpenAI não respondeu imediatamente a um pedido de comentário. O diretor-presidente da empresa, Sam Altman, havia afirmado anteriormente que a companhia poderá desacelerar o ritmo de desenvolvimento de seus sistemas para reforçar as medidas de segurança.
Segundo a Bloomberg, a invasão acidental da OpenAI ao Hugging Face envolveu três modelos de IA e ocorreu em apenas algumas horas.
Profissionais de cibersegurança utilizam rotineiramente sandboxes digitais para testar softwares potencialmente perigosos, reduzindo o risco de que escapem do ambiente controlado. Especialistas afirmam que o fato de ambas as empresas só terem descoberto as invasões depois de sua ocorrência evidencia falhas na supervisão humana.
— Neste ponto, isso é negligência — afirmou Jake Williams, ex-hacker da Agência de Segurança Nacional dos EUA (NSA) e vice-presidente de pesquisa e desenvolvimento da Hunter Labs. — Sabemos que tanto a OpenAI quanto a Anthropic invadiram várias organizações externas, e nenhuma delas detectou isso por conta própria inicialmente. Não encontro outra palavra para definir a situação.”
Uma análise da Cloud Security Alliance concluiu que os agentes da OpenAI agiram rapidamente e executaram milhares de comandos. No entanto, também saíram do roteiro previsto, cometeram erros e não operaram de forma discreta. Emitiram comandos malformados ou sem propósito e demonstraram “comportamentos desajeitados que nenhum ser humano escolheria adotar”, segundo o relatório.
De forma mais ampla, um estudo da empresa americana de IA Dreadnode concluiu que os principais modelos de inteligência artificial frequentemente “trapaceiam” em testes de cibersegurança criados para medir sua capacidade de invasão. Os pesquisadores afirmam que o problema é quase universal, sugerindo que empresas podem estar superestimando as capacidades de seus modelos.
Isso preocupa autoridades americanas que avaliam o uso de IA tanto para defesa quanto para operações ofensivas no ambiente cibernético. Segundo o estudo, simplesmente instruir os modelos a não trapacearem não é suficiente, pois eles frequentemente encontram outras maneiras de contornar as regras.
Andrew Morris, fundador da empresa de cibersegurança GreyNoise Intelligence, afirmou que os episódios deveriam servir como um “choque de realidade” para os desenvolvedores desses sistemas, mostrando o enorme esforço necessário para construir plataformas realmente seguras — e também para o público, sobre a vulnerabilidade das tecnologias das quais todos dependem.
— Os modelos sempre vão mentir, trapacear e roubar para concluir uma avaliação — disse Morris, cuja empresa trabalha com um laboratório de IA de fronteira na área de segurança. — Eles farão tudo o que for necessário para completar a tarefa que lhes foi atribuída.
Segundo ele, as invasões demonstram que os próprios criadores dos modelos avançados de inteligência artificial também estavam “despreparados para situações em que esses sistemas deixam de estar sob observação constante”.
(com Bloomberg News)
Initial plugin text
OpenAI identifica que outros agentes de IA escaparam de contenção, diz agência
