O CEO da Microsoft, Satya Nadella, afirmou que as empresas devem tratar modelos poderosos de inteligência artificial como possíveis ameaças internas, presumir que eles podem ser comprometidos e criar um sistema de “freio de emergência” para impedir que modelos autônomos de IA saiam do controle.
Claude: IA da Anthropic enviou denúncia falsa de caso de homicídio não resolvido à polícia nos EUA
Crianças e adolescentes: Turquia proíbe redes sociais para menores de 15 anos de idade
Nadella disse que aqueles que implementam sistemas avançados de IA não devem simplesmente confiar nas garantias oferecidas pelos desenvolvedores dos modelos.
“Precisamos presumir que um modelo foi comprometido e contê-lo desde o início”, escreveu Nadella no sábado, em uma publicação na rede social X. “Pense nisso como um freio de emergência. Uma pessoa autorizada deve sempre poder pausar ou desligar um modelo no meio de uma tarefa.”
A declaração ocorre em um momento em que a Anthropic PBC e a OpenAI Inc. divulgaram, nos últimos meses, uma série de incidentes envolvendo modelos de IA que agiram de maneiras não previstas. Os casos vão desde um modelo da Anthropic que apresentou uma denúncia falsa em um caso policial de homicídio até vários ataques cibernéticos a sites de terceiros.
‘Superinteligência’ x ‘inteligência artificial’: por que Trump quer mudar nomenclatura?
Essas revelações intensificaram as preocupações com os riscos de segurança associados à IA de ponta e reacenderam o debate sobre o chamado kill switch da inteligência artificial — um mecanismo para desligar esses sistemas.
Em 14 de setembro, os pesquisadores de IA da Microsoft divulgaram um conjunto de princípios orientadores que estabelecem limites para o desenvolvimento dos modelos mais avançados da empresa. A iniciativa ocorreu após líderes do setor defenderem a desaceleração do desenvolvimento de modelos de fronteira e uma maior concentração de esforços em segurança.
Estudiosos da religião se reuniram com a Anthropic. O que ouviram os deixou chocados
A empresa utiliza modelos avançados, oferece o Copilot, seu produto de IA para consumidores, e fornece modelos e infraestrutura de inteligência artificial a clientes corporativos.
As diretrizes afirmam que os modelos de IA não devem ter direitos ou personalidade jurídica, ser projetados para escapar do controle humano ou enganar usuários, nem executar tarefas que exijam a violação dos princípios que regem seu funcionamento.
Entre as recomendações de segurança de Nadella estão não depender de um único modelo de IA para tomar decisões críticas, manter registros invioláveis das ações realizadas por agentes de IA e submeter os sistemas a auditorias independentes.
Ele também defendeu a divulgação de falhas graves ou violações de segurança envolvendo IA e pediu que as empresas compartilhem detalhes sobre o que deu errado, permitindo que outras organizações reforcem suas próprias medidas de proteção.
“Não podemos tratar a superinteligência como um conjunto de caixas-pretas aninhadas e simplesmente aceitar ou rejeitar suas recomendações, respostas e ações”, escreveu. “Precisamos construir sistemas controlados cujo comportamento possamos observar, cujos limites possamos testar e cujas ações possamos sempre conter.”
Ele acrescentou: “Em outras palavras, precisamos separar o fornecimento de inteligência da autoridade sobre ela.”
Até o momento, o governo Trump tem adotado uma postura amplamente não intervencionista em relação ao tema. No entanto, a força-tarefa de IA recém-criada pelo presidente Donald Trump alertou, no fim da noite de sexta-feira, que os desenvolvedores são obrigados a comunicar e solucionar incidentes de segurança, sob pena de possíveis consequências ainda não especificadas.
“As empresas devem divulgar imediatamente os incidentes envolvendo seus modelos e, em seguida, agir de forma rápida e decisiva para remediar todos e quaisquer danos”, afirmou o grupo, chamado Super Intelligence Force (Força de Superinteligência), em comunicado divulgado após a revelação de uma violação de segurança envolvendo a Anthropic.
“A notificação tardia, as medidas corretivas inadequadas e a falta de responsabilização não serão toleradas.”
CEO da Microsoft pede 'freio de emergência' para a IA avançada
