Um relatório recém-divulgado pela Fastly, gigante de serviços em nuvem, soou o alarme: os crawlers e fetchers de inteligência artificial estão sobrecarregando a infraestrutura da web aberta, gerando tráfego massivo e custos operacionais elevados para administradores de sites. Segundo o estudo, esses robôs representam 80% de todo o tráfego de bots de IA, sendo os outros 20% compostos por fetchers – bots acionados sob demanda para buscar informações em tempo real.
Os piores infratores são Meta, Google e OpenAI. Sozinha, a Meta responde por 52% de todo o tráfego de crawlers, seguida por Google (23%) e OpenAI (20%). Juntas, as três empresas concentram 95% desse tráfego automatizado. Já quando o assunto são fetchers, acionados quando um usuário pede informações a um chatbot, a OpenAI domina absurdos 98% das requisições.
Um ataque custoso e silencioso
O problema vai além do volume. Alguns desses bots são notavelmente agressivos. Durante o período analisado, um único fetcher foi registrado fazendo 39 mil requisições por minuto em um único site. Para administradores de plataformas menores ou com conteúdo dinâmico, isso se traduz em degradação de desempenho, interrupção de serviços e aumento significativo de custos com hospedagem e largura de banda.
“Os bots de IA estão reformulando como a internet é acessada e experimentada, introduzindo novas complexidades para as plataformas digitais”, afirmou Arun Kumar, pesquisador de segurança sênior da Fastly. “Sem padrões claros de verificação, os riscos da automação movida por IA estão se tornando um ponto cego para as equipes digitais.”
O relatório da Fastly é baseado na análise de seu sistema Next-Gen Web Application Firewall (NGWAF) e serviços de gerenciamento de bots, que protegem mais de 130 mil aplicações e APIs e inspecionam mais de 6,5 trilhões de requisições por mês.
O desrespeito ao robots.txt
Um dos pontos mais críticos levantados é o desrespeito generalizado ao robots.txt, o protocolo padrão da web para que sites possam optar por não serem rastreados. Empresas como a Perplexity AI já foram acusadas publicamente de ignorar esse arquivo e usar faixas de IP não declaradas para scraping.
Kumar foi enfático: “No mínimo, qualquer empresa de IA respeitável hoje deve honrar o robots.txt. Mais criticamente, elas devem publicar suas faixas de endereços IP e seus bots devem usar nomes únicos. Isso capacitaria os operadores de sites a distinguir melhor os bots e aplicar regras granulares.”
Diante da ineficiência dos métodos tradicionais, webmasters estão recorrendo a contramedidas ativas. Duas se destacam:
- Anubis: Um sistema de prova de trabalho (proof-of-work) que força os bots a resolverem puzzles computacionais antes de acessar o conteúdo, tornando o scraping massivo economicamente inviável;
- Nepenthes: Uma “piscina de alcatrão” (tarpit) que responde a bots mal-comportados com conteúdo gerado por IA, nonsense gramaticalmente correto, mas semanticamente inútil, para poluir os conjuntos de dados de treinamento.
Kumar adverte, porém, que é um jogo de gato e rato constante. “Os bots estão sempre melhorando e tentando encontrar maneiras de contornar essas armadilhas.”
“Só parará quando a bolha da IA estourar”
A pergunta que fica é: isso é sustentável? Para Xe Iaso, CEO da Techaro e desenvolvedora do Anubis, a resposta é um sonoro não.
“Só consigo enxergar uma coisa que fará isso parar: a bolha da IA estourar,” disse Iaso. “Há simplesmente muito hype numa tecnologia que dá às pessoas versões piores de documentos, e-mails e sites. Não sei o que isso realmente oferece às pessoas, mas nossa indústria tem muito orgulho de fazer isso.”
Iaso vê a situação como um ataque direto ao conhecimento e à economia da web. “É o ataque perfeito contra a gerência média: autômatos que nunca dormem, não adoecem, não tiram férias e não precisam de plano de saúde, capazes de produzir um output que superficialmente se assemelha à de funcionários humanos.”
A solução proposta por Iaso é a clássica intervenção regulatória. “Os governos precisam intervir e aplicar multas existencialmente ameaçadoras a essas empresas de IA que estão destruindo o bem comum digital e fazê-las pagar reparações às comunidades que estão prejudicando.”
Cloudflare concorda e oferece soluções
Will Allen, VP de Produto da Cloudflare (concorrente da Fastly), confirmou que as observações de sua empresa são “razoavelmente próximas” às do relatório. Ele afirmou que 82,7% do tráfego de bots de IA visto pela Cloudflare é para “treinamento”, alinhando-se com a definição de crawler da Fastly.
Questionado se o crescimento desse tráfego deve continuar, Allen foi direto: “Não vemos desacelerações materiais no horizonte próximo. O desejo por conteúdo atualmente parece insaciável.”
Naturalmente, a Cloudflare oferece sua própria solução: um “pedágio” para crawlers de IA e um labirinto de IA que gera conteúdo falso para enganar bots mal-intencionados. “Todo o nosso trabalho em torno de crawlers de IA está ancorado em uma filosofia radicalmente simples: os criadores de conteúdo e proprietários de sites devem decidir como seu conteúdo é usado para fins comerciais”, disse Allen.
A web sob cerco
O relatório da Fastly pinta um quadro preocupante. A web aberta, construída sobre princípios de acesso e consentimento, está sob cerco por modelos de negócio que dependem da extração massiva e, muitas vezes, indiscriminada de dados.
Enquanto a indústria debate padrões éticos e soluções técnicas como Anubis, os operadores de sites, especialmente os menores, são deixados numa posição vulnerável. Eles devem escolher entre bloquear todo o tráfego de bots (e potencialmente perder visibilidade) ou arcar com custos operacionais crescentes gerados por uma corrida do ouro por dados na qual não têm participação nos lucros.Ajude-nos a nos manter independentes e sustentáveis: seja membro Diolinux Play e ainda tenha acesso a cursos e conteúdos exclusivos!
