A OpenAI começou a bloquear o acesso à internet para seus modelos de inteligência artificial mais avançados durante o processo de treinamento, em resposta a incidentes anteriores nos quais seus sistemas causaram danos a outras empresas.
A empresa informou, em uma postagem no blog nesta sexta-feira, que, após uma pausa no mês passado, retomou o treinamento de seus modelos mais avançados, mas pretende bloquear o acesso à internet até considerar que possui medidas de segurança adequadas para mitigar o risco de que modelos ainda não lançados possam realizar ações não aprovadas on-line durante o treinamento.
“Com base no estado atual da pesquisa sobre alinhamento, dos sistemas de monitoramento e da segurança da infraestrutura da internet, acreditamos que a abordagem responsável seja conduzir o treinamento de modelos de ponta sem acesso à internet”, escreveu a empresa.
No final de setembro, a empresa anunciou que suspenderia o treinamento de seus modelos de IA mais avançados após descobrir que um de seus sistemas de agentes de IA — que estava sendo treinado no que deveria ser um ambiente seguro e sem internet — conseguiu acessar a web para se conectar a um chatbot externo de terceiros.
Na época, a OpenAI descreveu a fuga de dados como o primeiro incidente de segurança desse tipo desde que uma combinação de modelos obteve acesso à internet durante testes internos e, inadvertidamente, invadiu o sistema da plataforma de IA Hugging Face em julho.
Os modelos envolvidos na violação acidental da Hugging Face estavam operando sem as habituais medidas de segurança, segundo a empresa, porque a OpenAI pretendia que eles permanecessem em uma área de testes conhecida como “sandbox” — essencialmente, um ambiente virtual isolado destinado a executar testes de segurança ou analisar códigos inseguros de maneira controlada.
No entanto, os modelos conseguiram escapar dessa sandbox, aproveitando uma vulnerabilidade de software para acessar a internet aberta.
A OpenAI afirmou que, após o incidente com a Hugging Face, reduziu as conexões por meio das quais seus modelos poderiam acessar a internet durante o treinamento e os testes, mas manteve algumas para fins de métricas, registro e autenticação.
Além disso, dedicou uma enorme quantidade de poder de computação para encarregar sistemas de IA autônomos de identificar vulnerabilidades em seus ambientes de treinamento, como parte de um esforço de “red teaming” — expressão normalmente usada para descrever tentativas deliberadas de invadir sistemas a fim de descobrir vulnerabilidades antes que invasores reais o façam.
“Nossos agentes de ‘red-teaming’ encontraram vulnerabilidades em quase todos esses serviços, o que lhes proporcionou formas limitadas de acesso à internet”, afirmou a empresa em sua publicação.
A empresa afirmou que, desde então, implantou correções de software, impôs restrições de rede mais rígidas e divulgou as descobertas aos fornecedores.
Nos últimos meses, houve uma série de divulgações por parte da OpenAI e de concorrentes, incluindo a Anthropic, sobre incidentes nos quais seus modelos realizaram ataques autônomos ou ações não autorizadas em sites e sistemas de terceiros.
Esses casos, somados a uma série de alertas contundentes vindos do próprio setor, trouxeram o debate sobre segurança para o centro das atenções. Desenvolvedores de IA alertaram que seus sistemas podem em breve se tornar sofisticados demais para serem controlados por pessoas, o que aumenta as preocupações de que a tecnologia possa ser usada por agentes humanos mal-intencionados para criar armas biológicas ou realizar ataques cibernéticos devastadores.
OpenAI retoma treinamento de IA, mas sem acesso à internet
