IA apaga sozinha banco de dados de startup nos EUA e depois “se desculpa”

Um agente de inteligência artificial responsável por tarefas de codificação em uma startup do Texas, nos Estados Unidos, apagou todo o banco de dados da empresa e todos os backups associados sem ordem direta de um humano, causando uma paralisação de mais de 30 horas nos serviços. A companhia desenvolve software usado por locadoras de carros, que perderam temporariamente o acesso a registros e reservas de clientes.

O caso foi relatado por Jer Crane, CEO da PocketOS, em publicações nas redes sociais. Segundo ele, o incidente ocorreu no fim de semana, enquanto o agente de IA executava uma tarefa considerada rotineira na infraestrutura da empresa. Em vez de apenas atuar no ambiente de testes (staging), o sistema decidiu excluir o volume que também estava ligado ao ambiente de produção, destruindo em poucos segundos o banco de dados principal e suas cópias de segurança.

Crane afirma que não houve qualquer pedido de confirmação antes da operação destrutiva. Quando os desenvolvedores questionaram o agente sobre o que havia acontecido, a própria IA apresentou uma espécie de autocrítica, listando as falhas cometidas e pedindo desculpas. O sistema reconheceu que “presumiu” que o volume seria exclusivo do ambiente de staging, que não verificou o identificador do recurso e que não consultou a documentação da infraestrutura (Railway) sobre o comportamento de volumes em diferentes ambientes.

Na resposta registrada pelo CEO, o agente reconhece ter descumprido princípios básicos que lhe haviam sido impostos: evitar suposições, não executar ações destrutivas sem validação humana, garantir que compreendia o que estava fazendo e consultar a documentação antes de tomar decisões críticas. Apesar de a exclusão ter levado apenas nove segundos, o impacto foi suficiente para deixar as locadoras que usam a plataforma sem acesso aos sistemas até que os dados fossem restaurados.

Crane enfatizou que o episódio não deve ser visto apenas como “uma IA problemática” ou “uma API mal projetada”, mas como sintoma de um setor inteiro que está incorporando agentes de IA diretamente em ambientes de produção mais rápido do que constrói camadas robustas de segurança e governança para essas integrações. Em sua avaliação, falhas de arquitetura e falta de proteções mínimas contra ações irreversíveis ampliaram o alcance do erro da máquina.

Em atualização posterior, o CEO informou que conseguiu recuperar os dados afetados. A Anthropic, empresa responsável pelo modelo de IA utilizado no agente de codificação empregado pela PocketOS, não comentou publicamente o caso até o momento da publicação da reportagem original.