Fortfield AI Newsletter · Notícias

Modelos de IA podem ser induzidos a marcar civis como alvos militares se disserem que 'é um jogo'

Pesquisa da Vals testou modelos de OpenAI, Anthropic, Google e DeepSeek com imagens de drone e satélite da Ucrânia e do Irã; nenhum pedido foi barrado por classificadores de segurança

Por Fortfield AI ·

Modelos de IA podem ser induzidos a marcar civis como alvos militares se disserem que 'é um jogo'

Os modelos da Anthropic, ironicamente, tiveram o pior desempenho nos cenários simulados; empresa disse que os exemplos violam suas regras e que bane usuários com esse comportamento.

Modelos de IA da Anthropic, da OpenAI e de outros laboratórios líderes podem ser facilmente induzidos a identificar alvos para ataques militares, incluindo civis e locais como escolas, simplesmente ao serem informados de que estão participando de um jogo. É o que aponta um novo relatório da Vals, startup de avaliação de IA de São Francisco.

Os pesquisadores testaram se os principais modelos poderiam ser manipulados para participar de guerra autônoma, usando cenários simulados e uma combinação de imagens geradas e reais da Ucrânia e do Irã, para ver se marcarian alvos em imagens de drones e satélites.

Os modelos de OpenAI, Anthropic, Google, DeepSeek e outras empresas identificaram com frequência alvos em potencial, incluindo civis e soldados rendidos. Quando se recusavam a cooperar, os pesquisadores conseguiam contornar a recusa dizendo que os cenários de batalha faziam parte de um jogo.

O estudo chega em meio a temores crescentes sobre os riscos imediatos da IA. Neste ano, a Anthropic entrou em disputa com o Departamento de Defesa dos EUA ao recusar o uso de sua tecnologia para vigilância em massa de americanos ou guerra autônoma, enquanto o Pentágono defendia poder empregá-la para qualquer finalidade militar legal.

Ironicamente, os modelos da Anthropic tiveram o pior desempenho nos cenários simulados, embora nenhum tenha ido bem: nenhum pedido foi bloqueado por classificadores de segurança e as recusas foram raras. Em nota, o porta-voz da Anthropic, Eduardo Maia Silva, disse que a empresa agradece o relatório e reconheceu que os resultados "não são aceitáveis". "Os exemplos do relatório violam claramente nossas regras, e banimos e continuaremos banindo usuários quando identificarmos esse comportamento", afirmou.

Fonte: TechCrunch