robots.txt e o Protocolo de Exclusão de Robôs: genealogia, padronização e economia institucional de um acordo cooperativo de trinta anos

A primeira convenção da web aberta para coordenação entre publicadores e robôs automatizados antecede em onze anos o Sitemap, em dezessete anos o Schema.org e em trinta anos o llms.txt. Em fevereiro de 1994, Martijn Koster, então engenheiro de software holandês trabalhando na empresa britânica Nexor, propôs na lista de discussão www-talk — principal canal de comunicação sobre web naquele momento — mecanismo simples para que webmasters comunicassem a crawlers automatizados quais áreas de seus sites deveriam ser evitadas. A motivação era operacional: crawlers da época sobrecarregavam servidores cuja capacidade computacional era ordens de grandeza menor que a atual (KOSTER, 1994; INTELLECTUAL PROPERTY BLAWG, 2025). A proposta foi aceita por consenso da comunidade em junho de 1994 e implementada como arquivo robots.txt hospedado na raiz do domínio. Três décadas depois, o protocolo permanece em uso universal, com aproximadamente 81,9% dos sites indexados expondo o arquivo (RANKSTUDIO, 2025). A relevância do tópico decorre de três ordens de razões. A primeira é histórica: robots.txt é o protocolo de coordenação publicador–máquina mais antigo em uso contínuo na web, e sua trajetória de 28 anos entre adoção espontânea (1994) e formalização IETF (RFC 9309, 2022) configura caso paradigmático de institucionalização tardia de norma de fato. A segunda é institucional: o protocolo opera sob princípio de conformidade voluntária, sem mecanismo técnico de imposição, configuração que se sustenta há três décadas mas enfrenta tensão crescente diante de atores com incentivos para descumpri-la. A terceira é teórica: o objeto permite examinar como tecnologias sociais sustentam-se ao longo do tempo apenas por convergência de incentivos entre publicadores e consumidores institucionais, e o que ocorre quando essa convergência se rompe. A literatura sobre robots.txt é abundante na vertente prática da otimização para mecanismos de busca, mas escassa quanto à sua análise como artefato sociotécnico de longo prazo. Existem o RFC 9309 (KOSTER et al., 2022), a documentação oficial do Google Search Central, o estudo de larga escala de Sun, Zhuang e Giles (2007) sobre uso do robots.txt, análises técnicas em ambientes acadêmicos como o relatório do CERN preparado por Sebastian Nagel (2022) sobre implementações e uso, e produção crítica recente sobre crawlers de IA. Este artigo procura preencher uma lacuna intermediária: revisão sistemática que articule a história técnica, a estrutura conceitual, as escolas de pensamento, as polêmicas documentadas e as perspectivas atuais, sob enquadramento da Economia Institucional aplicada à infraestrutura informacional. O artigo está estruturado em doze seções. A seção 2 apresenta a nota metodológica. A seção 3 reconstitui a fundamentação no incidente original e na lista www-talk. A seção 4 examina os precursores institucionais. A seção 5 trata da consolidação como padrão de fato e da trajetória até o RFC 9309. A seção 6 detalha a arquitetura técnica do arquivo. A seção 7 mapeia atores e tradições. A seção 8 analisa as extensões não normativas e os mecanismos complementares (meta tags robots, X-Robots-Tag). A seção 9 examina polêmicas, vieses e limites do princípio de conformidade voluntária. A seção 10 sistematiza adoção e evidências sobre crawlers de IA. A seção 11 discute perspectivas no contexto da bifurcação entre crawlers de busca e crawlers de treinamento. A seção 12 conclui com proposições teóricas.