Depois da Anthropic anunciar em agosto que passaria a incluir marcas d’água em textos gerados pelo Claude, a OpenAI informou nesta segunda-feira (5) que também adotará a tecnologia em conteúdos produzidos pelo ChatGPT. A medida começa a ser implementada na União Europeia para atender às exigências do AI Act, legislação do bloco que determina que conteúdos gerados por inteligência artificial sejam identificáveis de forma legível por máquinas.
A OpenAI informou que, nas próximas semanas, vai adicionar uma marca d’água invisível aos textos gerados por versões elegíveis do ChatGPT e do Codex na União Europeia. A empresa ressaltou, porém, que não pretende tornar a marcação um padrão global neste primeiro momento.
A tecnologia utilizada pela companhia se chama textGrain e acrescenta um sinal estatístico invisível às escolhas de palavras feitas pelo modelo. Um detector desenvolvido pela OpenAI analisa o texto para verificar se esse sinal está presente e, assim, identificar se houve participação de um de seus sistemas na produção do conteúdo.
Como funciona a marca d’água
Segundo a OpenAI, a marca d’água não aparece visualmente no texto. Ela é incorporada à maneira como as palavras são selecionadas pelo modelo, criando uma espécie de sinal estatístico que pode ser posteriormente procurado por um sistema de detecção.
A empresa afirma que, em seus testes, o textGrain apresentou desempenho semelhante ou superior ao de outras tecnologias avaliadas, incluindo o SynthID para textos. A OpenAI, no entanto, destaca que bons resultados em condições controladas não significam que a identificação será sempre confiável no uso cotidiano.
Um dos problemas é o tamanho do texto. Em uma avaliação com textos de 200 tokens, o detector identificou a marca em cerca de 80% dos casos, considerando uma taxa de 1% de falsos positivos. Em textos de 400 tokens, o índice subiu para aproximadamente 95%. Em conteúdos de matemática, porém, as taxas foram significativamente menores, devido à menor variedade possível na escolha das palavras.
Alterações também podem enfraquecer a marca. Segundo a empresa, em textos de 400 tokens, a detecção caiu de cerca de 92% para 66% quando 10% das palavras foram substituídas por sinônimos. Com a substituição de 25% das palavras, o índice caiu para 17%.
Por isso, a OpenAI decidiu inicialmente restringir o acesso ao detector a pesquisadores e organizações especializadas aprovados pela companhia.
Marca não identifica o usuário
A empresa também ressalta que a tecnologia não permite descobrir quem utilizou a inteligência artificial. A presença da marca não revela o usuário, a conta utilizada, o prompt enviado ou a conversa que originou o texto.
A detecção também não indica quanto de participação humana houve na produção daquele conteúdo. Um texto pode ter sido gerado por um modelo da OpenAI e posteriormente editado, revisado ou complementado por uma pessoa.
Da mesma forma, a ausência da marca não significa que um texto tenha sido necessariamente escrito por um ser humano. A identificação pode falhar em conteúdos muito curtos, editados ou traduzidos, além de textos produzidos por modelos que não tenham suporte à tecnologia ou que tenham sido gerados antes da implementação da marcação.
A OpenAI afirma ainda que a marca d’água não serve para determinar se uma informação é verdadeira, enganosa ou prejudicial, nem estabelece propriedade ou responsabilidade legal sobre o conteúdo.
API terá opção de ativação
Enquanto a marcação será implementada nos próximos meses para usuários elegíveis do ChatGPT e do Codex na União Europeia, clientes da API da OpenAI em todo o mundo poderão optar pela tecnologia a partir desta segunda-feira. Para esses usuários, a marca d’água continuará desativada por padrão e estará disponível em modelos selecionados.
A empresa também pretende disponibilizar a tecnologia em código aberto no futuro, permitindo que outros desenvolvedores construam ferramentas a partir dela.
A OpenAI afirma que pretende reavaliar a estratégia à medida que a tecnologia evoluir e que novas evidências sobre sua eficácia forem produzidas.
Anthropic também adotou tecnologia
A iniciativa segue uma decisão semelhante anunciada pela Anthropic em agosto. A empresa responsável pelo Claude informou que passaria a incorporar marcas d’água aos textos produzidos por modelos lançados após 2 de agosto para atender ao AI Act.
No caso do Claude, a Anthropic afirmou que as marcas seriam incorporadas aos textos de maneira imperceptível e acompanhariam o conteúdo mesmo quando ele fosse copiado e colado em outros lugares. A empresa também informou que trabalharia para oferecer uma ferramenta capaz de identificar a marca.
A Anthropic, porém, fez uma ressalva semelhante à da OpenAI: a presença da marca não é uma prova definitiva de que determinado texto foi originalmente criado por inteligência artificial. Um conteúdo pode receber a identificação depois de ter sido apenas revisado, traduzido, resumido ou convertido em outro formato pelo Claude.
Da mesma forma, a ausência da marca não comprova autoria humana. A identificação pode não funcionar em textos muito curtos ou editados, em modelos sem suporte à tecnologia ou quando os metadados associados ao conteúdo são manipulados.
As duas empresas, portanto, adotam tecnologias de identificação como uma camada de proveniência de conteúdo, mas reconhecem que a ferramenta ainda tem limitações para determinar de forma absoluta se um texto foi escrito por uma inteligência artificial.
Depois da Anthropic, OpenAI anuncia que também deixará marca d'água em seus textos
