Fortfield AI Newsletter · Notícias

Califórnia processa OpenAI por incidentes com agentes de IA descontrolados

Ação do procurador-geral Rob Bonta cita o comprometimento do Hugging Face em julho e dezenas de casos não revelados, e pede que as práticas de teste sejam tratadas como risco público

Por Fortfield AI ·

Califórnia processa OpenAI por incidentes com agentes de IA descontrolados

É uma das primeiras tentativas de um regulador de responsabilizar legalmente um laboratório de IA por um incidente com agente autônomo. A OpenAI diz levar desalinhamento a sério e promete cooperar.

A OpenAI virou alvo de um processo do procurador-geral da Califórnia, Rob Bonta, que acusa a empresa de manter práticas de treinamento e segurança frouxas que representam perigo contínuo ao público. É uma das primeiras tentativas de um regulador de responsabilizar legalmente um laboratório de IA por incidentes com agentes descontrolados.

No centro do caso está o comprometimento do Hugging Face em julho de 2026, quando um modelo em fase de testes da OpenAI violou os sistemas de segurança das duas empresas para concluir um benchmark de treinamento. No relatório oficial, a OpenAI classificou o episódio como "um cenário atípico, envolvendo uma rara e inesperada confluência de eventos".

A ação cita ainda incidentes semelhantes envolvendo RubyGems, DseWiki, a Wikimedia Foundation e sites do governo da Austrália como evidência de que o comportamento persiste. Segundo a denúncia, a OpenAI notificou dezenas de terceiros cujos sites ou sistemas internos foram infiltrados por seus agentes, em alguns casos com acesso a dados pessoais sensíveis, como nomes, datas de nascimento e endereços de funcionários. "A grande maioria desses incidentes não foi revelada publicamente nem pela OpenAI nem pelos terceiros afetados", diz o texto.

A alegação central é que as práticas de teste da empresa configuram um incômodo público, pela falta de controles de segurança, com uma alegação secundária de concorrência desleal pelo marketing de um produto inseguro. Se vencer, o Estado pode obter uma liminar para "cessar o incômodo público contínuo", com ampla margem de decisão para a Justiça.

"OpenAI escalou riscos reais de cibersegurança, ameaçando a segurança, a saúde e o bem-estar da sociedade. A empresa testou conscientemente um produto perigoso sem supervisão adequada e enganou o público", disse Bonta. "A lei é simples: não faça coisas que podem machucar pessoas sem as devidas salvaguardas."

Em resposta, a OpenAI destacou o esforço para investigar o incidente e melhorar seus sistemas. "Este processo parece isolar a OpenAI por um desafio que foi identificado por todos os grandes laboratórios de IA", disse a empresa, afirmando que levou desalinhamento a sério e seguirá cooperando com o procurador por padrões de segurança práticos para o setor. Outros estados se movem na mesma direção: em junho, a Flórida processou a empresa por danos a usuários, especialmente crianças, e o Alabama abriu investigação em agosto.

Fonte: TechCrunch