A Cloudflare, uma das maiores empresas de infraestrutura de internet do mundo, deu um ultimato à indústria de inteligência artificial. A partir de 15 de setembro de 2026, a configuração padrão da plataforma vai bloquear crawlers de “uso misto” em qualquer página que exiba anúncios. A medida, anunciada em 1º de julho, força empresas como Google, Apple e Microsoft a separarem seus robôs de busca dos usados para treinar modelos de IA e alimentar agentes autônomos.
A decisão foi publicada no blog oficial da Cloudflare e repercute em veículos como The Verge, TechCrunch e The Register. O cofundador e CEO Matthew Prince foi direto: “Agora que a maioria do tráfego da internet não é humano, precisamos ir além e agir mais rápido para que um ecossistema sustentável possa emergir.”
O que muda em 15 de setembro
A Cloudflare reclassificou o tráfego automatizado em três categorias: Search (busca), Agent (agentes) e Training (treinamento). Cada uma pode ser bloqueada ou liberada separadamente. A partir de setembro, novos clientes e novos sites de clientes existentes vão herdar a seguinte configuração padrão: busca liberada, treinamento e agentes bloqueados em páginas com anúncios. A mesma regra vale para todos os usuários do plano gratuito que não alterarem as configurações.
O alvo principal são os crawlers de “uso misto” — robôs que combinam indexação para busca com coleta de dados para treinar modelos de IA. O Googlebot é o exemplo mais emblemático. Ele indexa páginas para o Google Search e, ao mesmo tempo, alimenta recursos como AI Overviews e AI Mode. O mesmo vale para o Bingbot, da Microsoft, e para o Applebot, que desde junho de 2026 também abastece o Apple Intelligence.
Até hoje, editores toleravam a raspagem porque bloquear o Googlebot significava desaparecer do Google Search. A Cloudflare chama isso de “barganha faustiana”: estar na busca ou proteger o conteúdo, mas não os dois.
Google, Apple e Microsoft na mira
Em seu comunicado, a Cloudflare criticou abertamente o “maior buscador do mundo” — uma referência clara ao Google — por ter acesso a cerca de duas vezes mais informação do que outras empresas de IA. A empresa argumenta que o Google dificulta que os sites permaneçam encontráveis sem serem usados para treinar modelos.
O Google já rebateu esse tipo de crítica no passado, afirmando que oferece o Google-Extended, uma diretiva de robots.txt que permite aos donos de site recusar o uso do conteúdo para treinamento e produtos de IA como Gemini Apps e Vertex API, sem afetar a presença na busca. A Apple oferece o Applebot-Extended com a mesma função, e o Bing usa o atributo “noarchive” na meta tag robots.
O problema, segundo a Cloudflare, é que essas diretivas são voluntárias e muitos crawlers simplesmente as ignoram. A empresa quer criar um portão declarativo que funcione de verdade — uma barreira técnica, não apenas um aviso.
Pay Per Use: a nova fronteira
Bloquear é só metade do plano. A Cloudflare está transformando o Pay Per Crawl, lançado em 2025, em um modelo chamado Pay Per Use. A ideia é pagar editores quando o conteúdo gera valor para sistemas de IA, não apenas quando é baixado.
Os primeiros parceiros são a Ceramic.ai e o You.com. Quando um publisher opta pelo programa, ele recebe quando seu conteúdo aparece nos resultados de busca da Ceramic ou quando o You.com acessa um conteúdo premium. A Cloudflare afirma que outras empresas de IA podem personalizar o modelo conforme sua operação.
A empresa também identificou que mais de 50% do tráfego de crawlers de IA é gasto rebuscando páginas que não mudaram — um desperdício enorme de banda e recursos computacionais.
O impacto no Brasil
A Cloudflare protege cerca de 20% do tráfego global da web, segundo estimativas de mercado. No Brasil, sites de notícia, e-commerce e conteúdo que rodam na rede da Cloudflare vão receber o bloqueio automático se estiverem no plano gratuito ou forem criados após 15 de setembro. Editores brasileiros que usam a Cloudflare como CDN precisam ficar atentos: a configuração padrão muda, mas é possível reverter nas configurações do painel de controle.
A medida também pode pressionar Google, Apple e Microsoft a negociarem acesso pago com editores — ou a separarem de vez seus crawlers de busca dos de IA. O Reino Unido já está forçando o Google a permitir que editores optem por não participar da busca com IA sem perder ranqueamento, e publishers de notícias nos EUA processam a OpenAI por uso de conteúdo para treinamento.
O que esperar
A Cloudflare está fazendo a jogada mais agressiva até agora para fazer a IA pagar pelo que consome. O prazo é 15 de setembro. Até lá, Google, Apple e Microsoft precisam decidir: separar os crawlers ou negociar acesso pago com os donos de conteúdo. O resto da web vai observar de perto o que os gigantes da tecnologia farão a seguir.
Fontes: The Verge — Emma Roth, TechCrunch — Sarah Perez, Cloudflare Blog — Jin-Hee Lee e Bryan Becker, The Register — Thomas Claburn, TNW — Ana Maria Constantin, Exame, Cloudflare Changelog.
