Cloudflare aperta o cerco e exige que empresas de IA paguem por conteúdo de editoras

A Cloudflare anunciou uma mudança de política que mira diretamente como empresas de inteligência artificial acessam conteúdo de sites de mídia para busca, agentes de IA e treinamento de modelos. A partir de 15 de setembro de 2026, a configuração padrão da plataforma passará a bloquear robôs “de uso misto” em páginas que exibem anúncios, a menos que o dono do site autorize o contrário.

Na prática, qualquer crawler que combine funções de busca, uso em agentes e coleta de dados para treinamento não poderá mais acessar automaticamente esses conteúdos monetizados. A regra valerá para novos clientes, novos domínios adicionados por clientes atuais e para todos os usuários do plano gratuito da empresa. Com isso, provedores de modelos de IA terão de separar com clareza os robôs usados para busca daqueles voltados a produtos de IA e treinamento, além de negociar condições com publishers.

A Cloudflare argumenta que a maioria dos sites quer continuar sendo encontrada em mecanismos de busca e, muitas vezes, também em experiências de IA, mas sem abrir mão da proteção sobre sua propriedade intelectual. No anúncio, a empresa cita o “maior mecanismo de busca do mundo”, em referência ao Google, e afirma que ele tem acesso a cerca de “duas vezes mais informação” do que outras empresas de IA porque dificulta que clientes se mantenham visíveis na busca sem também serem usados para IA.

O Google contesta essa visão e lembra que oferece o robô Google Extended, que permite aos donos de sites impedir o uso de seu conteúdo para treinar modelos ou alimentar produtos de IA, como Gemini Apps e Vertex API, sem afetar a presença nas buscas. Porém, o Googlebot padrão continua rastreando páginas para recursos de busca, incluindo funcionalidades com IA, como AI Overviews e AI Mode.

Segundo o cofundador e CEO Matthew Prince, a decisão vem em um momento em que a maior parte do tráfego na internet já é gerada por bots, superando pela primeira vez o acesso humano. Ele defende que é preciso avançar mais rápido para que surja um ecossistema sustentável, em que sites tenham visibilidade e oportunidades comerciais e empresas de IA operem com robôs de propósito transparente. A expectativa é que a nova configuração padrão pressione os crawlers de uso misto a separar de forma explícita o que é busca, o que é agente e o que é treinamento.

Nos últimos anos, a Cloudflare lançou produtos que ajudam clientes a criar seus próprios sistemas de IA, mas também ferramentas para dar mais controle aos publishers sobre como seus conteúdos são usados por bots. Entre elas estão soluções para combater robôs de IA e um marketplace que permite cobrar pelo acesso de crawlers, inicialmente batizado de Pay Per Crawl. Agora, esse modelo evolui para Pay Per Use, em que editoras podem ser remuneradas quando o conteúdo gera valor em serviços de IA, não apenas quando é buscado.

Os dados da própria Cloudflare indicam que mais de metade do tráfego de crawling de robôs de IA é gasto em refazer buscas em páginas que não mudaram. A empresa afirma que seu novo modelo pode ajudar a preservar banda e recursos computacionais dos publishers, ao mesmo tempo em que cria mecanismos claros de monetização para uso em IA.

Para colocar a estratégia em prática, a Cloudflare está começando com dois parceiros: Ceramic.ai e You.com. Quando um publisher opta por participar, passa a receber pagamento quando seus conteúdos aparecem em resultados de busca de IA da Ceramic ou quando o You.com acessa materiais classificados como premium. Outras empresas de IA poderão adaptar esse formato às suas próprias soluções e modelos de negócio, desde que sigam a lógica de pagamento pelo uso.

No centro dessa mudança está a tentativa de redefinir o equilíbrio de poder entre quem produz conteúdo e quem o utiliza para alimentar modelos e serviços de inteligência artificial. Se a iniciativa ganhar adesão dos sites e for copiada por outros provedores de infraestrutura, empresas de IA terão de investir mais em acordos formais com publishers e em robôs “bem comportados”, que deixam claro quando estão rastreando para busca e quando estão extraindo dados para treinar modelos.