Robots.txt: o que ele controla e o que não faz

Digite “robots.txt” no Google. O primeiro resultado é a página do próprio Google sobre o arquivo. ¹ Logo no primeiro parágrafo, ela avisa que o robots.txt não serve para manter uma página fora do Google. ²

Desça pela mesma página. Entre os textos brasileiros de lojas virtuais e hospedagens, a frase se inverte. Um diz que o arquivo controla o que será indexado nos buscadores. Outro ensina que é por ele que se impede uma página de aparecer no Google. ³ Li cinco desses textos. Quatro dizem a mesma coisa com outras palavras. ³

Ninguém escreveu isso de má-fé. O nome engana: bloquear o robô parece bloquear o Google inteiro. Este texto separa as duas coisas, com a especificação e a documentação abertas em 14 de setembro de 2026.

O que é o robots.txt

Pense na portaria de um prédio comercial. Na parede, um quadro avisa que entregador não sobe ao terceiro andar. O entregador educado lê o quadro e obedece. O quadro não tranca porta nenhuma. Quem decide ignorar o aviso sobe do mesmo jeito.

O site tem esse quadro na entrada. É um arquivo de texto simples, sempre no mesmo lugar: a raiz do site, seguida de /robots.txt. ⁴ Antes de visitar as páginas, o robô do Google baixa esse arquivo e lê o que pode visitar. ⁵ Isso se chama protocolo de exclusão de robôs, e o robots.txt é o quadro onde ele fica escrito.

A regra nasceu em 1994, proposta pelo engenheiro Martijn Koster. Ganhou especificação formal na IETF, a entidade que publica os padrões técnicos da internet, em setembro de 2022. É a RFC 9309, escrita por Koster e por três engenheiros do Google. ⁶ O texto da RFC diz que essas regras não são uma forma de autorização de acesso. ⁶ Quadro na portaria, sem fechadura.

Um detalhe de endereço pega muita gente. O arquivo vale só para o host, o protocolo e a porta onde está publicado. ⁵ O robots.txt de example.com não vale para loja.example.com, nem para a versão http do mesmo site. ⁵ Cada subdomínio precisa do seu. E arquivo dentro de pasta não conta, porque o robô não procura robots.txt em subdiretório. ⁵

As quatro linhas que o Google lê

O arquivo é feito de blocos. Cada bloco começa dizendo a qual robô se dirige e segue com as regras daquele robô. Isso se chama grupo. ⁴

O Google aceita quatro campos. ⁵

User-agent: o nome do robô a quem o grupo se dirige.
Disallow: o caminho que ele não deve visitar.
Allow: o caminho que ele pode visitar, mesmo dentro de uma área bloqueada.
Sitemap: o endereço completo do mapa do site.

O resto, o Google ignora. O Crawl-delay, que muita gente copia de modelo pronto, está fora da lista dele. ⁵ O nome do campo aceita maiúscula ou minúscula. O caminho, não. Para o robô, /Carrinho/ e /carrinho/ são endereços diferentes. ⁵

Dois curingas completam a sintaxe. O asterisco vale por qualquer sequência de caracteres. O cifrão marca o fim do endereço. ⁵ Na lógica da documentação, Disallow: /*.pdf$ fecha os endereços terminados em .pdf, e só eles. ⁵

Quando duas regras batem no mesmo endereço, vence a mais específica, a de caminho mais longo. ⁵ Se empatarem, o Google fica com a menos restritiva, a que libera. ⁵ A RFC manda fazer a mesma coisa. ⁶

A armadilha mais comum mora nos grupos. Cada robô segue um grupo só, o que tem o nome dele. ⁵ Se existe um grupo para o Googlebot, ele deixa de lado as regras do grupo do asterisco. ⁵ Quem escreve um grupo para um robô precisa repetir ali tudo o que quer que ele respeite.

O asterisco também tem exceção no Google. Ele não alcança os robôs AdsBot, que precisam ser chamados pelo nome. ⁴ Esse robô apareceu no painel de um site sem anúncio, no texto sobre rastreamento e orçamento de rastreamento. Lá também estão as categorias de robô do Google e quais delas obedecem ao arquivo.

Um exemplo, linha por linha

O arquivo abaixo é inventado para este texto. O domínio example.com é reservado para documentação e não pertence a ninguém. ⁷

bloco para copiar

# Exemplo inventado para este texto
User-agent: *
Disallow: /carrinho/
Disallow: /*?ordem=
Allow: /carrinho/como-comprar.html

User-agent: GPTBot
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

O primeiro grupo vale para todo robô sem grupo próprio. Ele pede para não visitar a pasta do carrinho. Pede também para pular todo endereço com ?ordem=, a lista de produtos reordenada por preço ou nome. Dentro do carrinho, libera uma página só, a de ajuda. O caminho dela é mais longo, e por isso vence. ⁵

O segundo grupo vale para o GPTBot, o robô que a OpenAI usa para coletar conteúdo que pode ir para o treino. Ele fica fora do site inteiro. ⁸ Como tem grupo próprio, o GPTBot não lê o primeiro. ⁵ O OAI-SearchBot, robô de busca da mesma empresa, não tem grupo aqui. Ele segue o grupo do asterisco e pode visitar os produtos. ⁵ ⁸

Sobra a linha do mapa do site, com o endereço completo. Ela não pertence a grupo nenhum e vale para todos os robôs. ⁵ Passei o exemplo por um script que aplica as regras de precedência da documentação, e cada endereço caiu onde este parágrafo diz. ⁹

O que o robots.txt não faz

Volte à portaria. O quadro diz ao entregador onde não subir. Ele não tira o endereço da loja do guia da cidade.

Com a página acontece o mesmo. Uma página bloqueada no robots.txt ainda pode entrar no Google, se outros sites apontam para ela. ² O Google não lê o conteúdo, mas pode guardar o endereço e o texto dos links que chegam até ela. ² Nesse caso, o resultado aparece sem descrição. ² O relatório de indexação do Search Console tem um status só para isso. Na ajuda em inglês, ele se chama Indexed, though blocked by robots.txt. ¹⁰

Para tirar a página do Google, a documentação indica três caminhos: a regra noindex, a senha ou apagar a página. ² E aqui mora a armadilha que prende muita gente.

No texto sobre site que não aparece no Google, o noindex ganhou a imagem de uma placa na vitrine: proibido fotografar. A placa fica dentro da loja. Se o quadro da portaria proíbe subir, o fotógrafo nunca chega a ler a placa.

A documentação escreve isso por extenso. Para o noindex funcionar, a página não pode estar bloqueada no robots.txt. ¹¹ Bloqueada, o robô nunca vê a regra, e a página pode continuar nos resultados. ¹¹ O Google também não aceita noindex escrito dentro do robots.txt. ¹¹ A caixa do WordPress que esconde o site durante a obra está explicada no mesmo texto.

O arquivo também não protege nada. A RFC diz que ele não substitui medida de segurança. ⁶ E avisa do efeito contrário: listar um caminho no arquivo torna esse caminho público e fácil de achar. ⁶ Área restrita pede senha no servidor. ²

Nem todo robô obedece. O Google escreve que o arquivo não obriga ninguém, e que cabe ao robô seguir as instruções. ² O Googlebot e os robôs respeitáveis seguem. Outros podem não seguir. ²

Quando o arquivo falha

O arquivo pode sumir, travar ou crescer demais. O Google documenta o que faz em cada caso. ⁵

Arquivo inexistente ou erro 4xx, exceto o 429. O Google age como se não houvesse restrição nenhuma. ⁵
Erro de servidor, os 5xx. Nas primeiras 12 horas, o Google para de rastrear o site e segue tentando baixar o arquivo. Depois, por até 30 dias, usa a última versão boa que guardou. ⁵
Erro que passa de 30 dias. Se o site está no ar, o Google age como se não houvesse arquivo. Se o site tem problema geral de acesso, ele para de rastrear. ⁵
Redirecionamento. O Google segue pelo menos cinco saltos. Depois disso, trata como arquivo inexistente. ⁵
Página no lugar do arquivo. Se o endereço devolve HTML, o Google tenta tirar dali alguma regra válida e ignora o resto. ⁵
Tamanho. O limite é de 500 KiB, pouco mais de meio megabyte. O que passar disso é ignorado. ⁵ A RFC exige que os robôs leiam pelo menos esse tanto. ⁶

O primeiro item surpreende quem espera o contrário. Um arquivo que some libera tudo. Um servidor que falha na hora de entregar o arquivo trava o rastreio do site inteiro por meio dia.

Existe ainda a memória. O Google guarda o arquivo por até 24 horas, em geral. ⁵ Uma correção feita agora pode levar um dia para valer.

Os robôs de IA, pelo que cada empresa escreveu

Aqui o arquivo virou decisão de negócio. Cada empresa de IA mantém robôs diferentes para funções diferentes, com nome publicado. No livro SEO de Entidade, eu chamo isso de três robôs com três crachás. ¹² A tabela traz só o que a documentação oficial de cada empresa diz, conferida em 14 de setembro de 2026.

Empresa	Nome no robots.txt	O que a documentação diz
Google	`Googlebot`	rastreia para a Busca, incluídos os recursos de IA dela ¹³ ¹⁴
Google	`Google-Extended`	nome de controle, sem robô próprio; decide se o conteúdo treina os modelos Gemini e fundamenta respostas nos apps Gemini e na Vertex AI; não afeta a inclusão na Busca ¹³
OpenAI	`OAI-SearchBot`	faz sites aparecerem na busca do ChatGPT; site bloqueado sai das respostas de busca ⁸
OpenAI	`GPTBot`	coleta conteúdo que pode treinar os modelos; bloquear indica que o conteúdo fica fora do treino ⁸
OpenAI	`ChatGPT-User`	visita a página a pedido do usuário; o robots.txt pode não valer ⁸
Perplexity	`PerplexityBot`	mostra e linka sites na busca da Perplexity; não coleta para treino ¹⁵
Perplexity	`Perplexity-User`	visita a página a pedido do usuário; em geral ignora o robots.txt ¹⁵
Anthropic	`ClaudeBot`	coleta conteúdo que pode entrar no treino; bloquear tira o material futuro do treino ¹⁶
Anthropic	`Claude-SearchBot`	indexa para a busca; bloquear pode reduzir a visibilidade nas respostas ¹⁶
Anthropic	`Claude-User`	visita a página a pedido do usuário; bloquear pode reduzir a visibilidade ¹⁶

O Google pede leitura com calma. Os recursos de IA da Busca, como AI Overviews e AI Mode, fazem parte da Busca. Por isso o controle de acesso a eles é o robots.txt do Googlebot. ¹⁴ O Google-Extended não tira o site da Busca, e o Google escreve que ele não é sinal de ranqueamento. ¹³ Para limitar o que aparece nesses recursos, o Google indica as regras de trecho, como nosnippet e max-snippet, e o noindex. ¹⁴

Existe ainda o controle de IA generativa do Search Console, com um custo escrito na própria ajuda. ¹⁷ Esse controle e o resto do caminho até a citação estão no texto sobre como aparecer nas respostas da IA.

Nas três empresas de IA da tabela, o treino e a busca têm robôs separados. A OpenAI escreve que dá para liberar o robô de busca e bloquear o de treino. ⁸ A OpenAI e a Anthropic dizem o que acontece com quem bloqueia o de busca: o site sai das respostas, ou perde visibilidade. ⁸ ¹⁶ A Perplexity recomenda liberar o PerplexityBot para aparecer. ¹⁵

Os robôs acionados por uma pergunta do usuário seguem outra regra. A OpenAI e a Perplexity avisam que eles podem não obedecer ao arquivo. ⁸ ¹⁵ A Anthropic diz que os robôs dela respeitam o robots.txt e aceitam o Crawl-delay, o campo que o Google ignora. ¹⁶ ⁵

O bloqueio que ninguém via no WordPress

Um caso da nossa operação, sem o nome do cliente. O time editou o robots.txt pelo WordPress, com as regras do site e uma referência para robôs de IA. ¹⁸ Quem abria o endereço /robots.txt no navegador via outra coisa. Antes das regras do time, havia um bloco que ninguém ali tinha escrito. ¹⁸ Ele fechava o site inteiro para os nomes ligados a treino de IA, entre eles GPTBot, ClaudeBot e Google-Extended. ¹⁸

O bloco vinha da CDN, a rede que entrega o site aos visitantes. No caso, a Cloudflare. A documentação dela descreve o mecanismo. Com a opção ligada no painel, ela coloca um bloco próprio antes do robots.txt do site. E entrega os dois como uma resposta só. ¹⁹ A tela do WordPress mostrava só a metade que o time escreveu. ¹⁸

Em 2 de agosto de 2026, o bloco seguia ativo. Estava ligado em quatro dos seis domínios do mesmo dono. Nos outros dois, não havia bloqueio nenhum. ¹⁸

A leitura pede a tabela de cima. O OAI-SearchBot, o PerplexityBot e o Claude-SearchBot não estavam na lista. ¹⁸ Pela documentação de cada empresa, a busca delas seguia aberta. ⁸ ¹⁵ ¹⁶ O Google-Extended estava. Pela documentação do Google, isso tirava o conteúdo do treino do Gemini e da fundamentação nos apps Gemini. ¹³

Pode ter sido escolha consciente de quem tinha acesso ao painel. O problema foi de visão. A decisão morava num lugar que o time de marketing não abria, e o arquivo que o Google lia era outro.

A regra prática sai daí. Confira o arquivo que o site entrega, no navegador, e desconfie da tela do sistema. O Google manda testar assim, abrindo o endereço do arquivo numa janela anônima. ⁴ O que o próprio WordPress coloca no arquivo está no texto sobre SEO para WordPress.

O relatório de robots.txt no Search Console

O Search Console mostra o arquivo do jeito que o Google baixou. O relatório de robots.txt lista os arquivos encontrados nos 20 principais hosts do site. ²⁰ Para cada um, mostra o endereço, o status da última busca, a data, o tamanho e os problemas de leitura. ²⁰

Ele tem três usos práticos. O primeiro é ver a última versão baixada, com erros e avisos marcados. ²⁰ O segundo é abrir as versões dos últimos 30 dias, útil para datar uma mudança que ninguém anunciou. ²⁰ O terceiro é pedir um novo rastreamento do arquivo depois de corrigir um erro. ²⁰ Esse pedido não garante que as páginas liberadas sejam visitadas na hora. ²⁰

Duas condições limitam o relatório. Ele só existe para propriedade no nível do domínio, ou de prefixo sem pasta. ²⁰ E ele não testa página por página. Para saber se um endereço específico está bloqueado, a ferramenta é a inspeção de URL. ²⁰

Um aviso para quem usa a Cloudflare. A própria empresa escreve que o Search Console pode marcar como não compreendida a linha de sinais de conteúdo que ela acrescenta. Ela diz não ter visto efeito no rastreio. ¹⁹

A conferência de dez minutos

Separe o endereço do seu site e o acesso ao Search Console.

Abra o arquivo que o site entrega. Digite o domínio seguido de /robots.txt numa janela anônima. ⁴
Procure blocos que ninguém da equipe escreveu. A Cloudflare, por exemplo, marca com comentários o começo e o fim do bloco dela. ¹⁹
Leia grupo por grupo. Cada robô com grupo próprio deixa de lado o grupo do asterisco. ⁵
Procure um Disallow: / embaixo do asterisco. Ele fecha o site inteiro para todo robô sem grupo próprio. ⁵
Confira a linha do mapa do site. O endereço precisa ser completo, com o protocolo. ⁴
Abra o relatório de robots.txt. Veja o status, os avisos e as versões dos últimos 30 dias. ²⁰
Inspecione a página que mais importa. A inspeção de URL diz se ela está bloqueada. ²⁰
Decida robô por robô de IA. Use a tabela deste texto e anote quem decidiu, e em que data.

O resto do território técnico, da indexação à velocidade, está em SEO técnico.

Duas perguntas antes de mexer no arquivo

Quando alguém disser “bloqueia no robots.txt”, você vai fazer duas perguntas. Bloquear o quê: a visita do robô ou a aparição no Google? E qual robô, de qual empresa, para qual função?

A primeira separa o robots.txt do noindex. A segunda separa treino de busca.

Abra agora o endereço do seu site seguido de /robots.txt e leia o arquivo inteiro, linha por linha.

Perguntas frequentes

O robots.txt tira uma página do Google?

Não garante. Bloqueada, a página ainda pode aparecer, sem descrição, se outros sites apontam para ela. ² Para tirar do Google, a documentação indica o noindex, a senha ou apagar a página. ² E o noindex só funciona se o robô puder ler a página. ¹¹

Todo site precisa ter robots.txt?

Não. A ajuda do Search Console diz que ficar sem o arquivo é aceitável, e que o Google entende que pode rastrear o site inteiro. ²⁰ O arquivo serve quando existe algo a organizar, como áreas sem valor para a busca. ²

Bloquear o GPTBot tira o meu site do ChatGPT?

Pela documentação da OpenAI, o GPTBot é o robô de treino. A busca do ChatGPT depende do OAI-SearchBot, e um site pode liberar um e bloquear o outro. ⁸

Bloquear o Google-Extended tira o site dos AI Overviews?

Pela documentação do Google, o Google-Extended não afeta a inclusão na Busca. ¹³ Nos recursos de IA da Busca, o controle de acesso é o robots.txt do Googlebot. ¹⁴

Qual o tamanho máximo do robots.txt?

O Google lê até 500 KiB. O que passar disso é ignorado. ⁵

Quanto tempo leva para uma mudança valer?

O Google guarda o arquivo por até 24 horas, em geral. ⁵ A OpenAI fala em cerca de 24 horas para a busca dela refletir a mudança. ⁸ A Perplexity, em até 24 horas. ¹⁵

Notas e fontes

Leitura ao vivo da página de resultados do Google Brasil para “robots.txt”, 14 de setembro de 2026, endereço https://www.google.com.br/search?q=robots.txt&hl=pt-BR&gl=br&pws=0, em aba própria do navegador do autor. Primeiro resultado orgânico: “Introdução e guia do robots.txt”, do Google for Developers, marcado como traduzido pelo Google. Orgânicos da primeira página, na ordem: Google for Developers, Cloudflare, Wikipédia em inglês, robotstxt.org, a versão em português da página do Google, MDN, Tray, King Host e HostMídia, com anúncio da RD Station no fim. A Visão geral criada por IA trazia, sob “O que ele não faz”: “Não bloqueia a indexação: Um arquivo robots.txt não impede que o Google mostre uma página nos resultados de pesquisa.” Acesso em 14 de setembro de 2026.
Google Search Central, “Introduction to robots.txt”, https://developers.google.com/search/docs/crawling-indexing/robots/intro, página atualizada em 10 de dezembro de 2025; versão em português, “Introdução ao robots.txt”, atualizada em 18 de dezembro de 2025. Acesso em 14 de setembro de 2026. Trechos: “This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page”; “If your web page is blocked with a robots.txt file, its URL can still appear in search results, but the search result won’t have a description”; “we might still find and index a disallowed URL if it is linked from other places on the web. As a result, the URL address and, potentially, other publicly available information such as anchor text in links to the page can still appear in Google Search results”; “password-protect the files on your server, use the noindex meta tag or response header, or remove the page entirely”; “it’s up to the crawler to obey them. While Googlebot and other respectable web crawlers obey the instructions in a robots.txt file, other crawlers might not”; e o uso para “avoid crawling unimportant or similar pages on your site”.
Levantamento da SEO Genome, 14 de setembro de 2026, sobre os cinco textos brasileiros de lojas virtuais e hospedagens que aparecem na primeira página nas duas leituras da busca “robots.txt” (a da nota 1 e a do Semrush, base Brasil, no mesmo dia), baixados e lidos no mesmo dia. King Host, “Entendendo o arquivo robots.txt”, publicado em 20 de abril de 2015 e atualizado em 17 de junho de 2021, https://king.host/wiki/artigo/entendendo-o-arquivo-robots-txt/: “ele controla qual informação do site será ou não indexada (encontrada) nos mecanismos de busca”. HostGator, “Como usar o arquivo robots.txt”, sem data, https://suporte.hostgator.com.br/hc/pt-br/articles/30820167169811-Como-usar-o-arquivo-robots-txt: “O arquivo robots.txt diz o que deve ou não ser indexado nos motores de busca”. Tray, “O que é o robots.txt?”, atualizado em 31 de agosto de 2026, https://basedeconhecimento.tray.com.br/hc/pt-br/articles/7114295899547-O-que-%C3%A9-o-robots-txt: “se deseja que a página X e Y não sejam indexadas e apresentadas nos sites buscadores como o Google, será através do arquivo robots.txt”. Nuvemshop, 26 de março de 2026, https://atendimento.nuvemshop.com.br/pt_BR/ferramentas-do-google/como-funciona-o-arquivo-robotstxt-na-nuvemshop: o arquivo indica “quais páginas devem ou não ser indexadas e exibidas nos resultados de pesquisa”. A exceção é a HostMídia, sem data, https://www.hostmidia.com.br/blog/importancia-robots-txt/, que registra que o arquivo não é mecanismo de segurança e que um link externo pode levar à indexação de página bloqueada. Nenhum dos cinco cita a RFC 9309, os robôs de IA, o limite de tamanho ou o comportamento diante de erro de servidor. Acesso em 14 de setembro de 2026.
Google Crawling Infrastructure, “How to write and submit a robots.txt file”, https://developers.google.com/crawling/docs/robots-txt/create-robots-txt, página atualizada em 21 de novembro de 2025. O endereço antigo, na documentação do Search Central, redireciona para este. Acesso em 14 de setembro de 2026. Trechos: “A robots.txt file lives at the root of your site. So, for site www.example.com, the robots.txt file lives at www.example.com/robots.txt”; “Your site can have only one robots.txt file”; “Each group begins with a User-agent line that specifies the target of the groups”; “Using an asterisk (*) matches all crawlers except the various AdsBot crawlers, which must be named explicitly”; “The sitemap URL must be a fully-qualified URL”; e o teste de publicação: “open a private browsing window (or equivalent) in your browser and navigate to the location of the robots.txt file”.
Google Crawling Infrastructure, “How Google interprets the robots.txt specification”, https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec, página atualizada em 31 de agosto de 2026; versão em português, “Como o Google interpreta a especificação de robots.txt”, atualizada em 12 de setembro de 2026. O endereço antigo, https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt, redireciona para este. Acesso em 14 de setembro de 2026. Trechos: “before crawling a site, Google’s crawlers download and parse the site’s robots.txt file”; “The rules listed in the robots.txt file apply only to the host, protocol, and port number where the robots.txt file is hosted”; “Crawlers don’t check for robots.txt files in subdirectories”; os campos “user-agent”, “allow”, “disallow” e “sitemap”, com “other fields such as crawl-delay aren’t supported”; nomes de campo sem distinção de maiúsculas e caminho com distinção; ”* designates 0 or more instances of any valid character” e ”$ designates the end of the URL”; “crawlers use the most specific rule based on the length of the rule path. In case of conflicting rules, including those with wildcards, Google uses the least restrictive rule”; “Only one group is valid for a particular crawler” e “User agent specific groups and global groups (*) are not combined”; o sitemap “isn’t tied to any specific user agent”; os 4xx, exceto 429, tratados “as if a valid robots.txt file didn’t exist”; nos 5xx, “For the first 12 hours, Google stops crawling the site but keeps trying to fetch the robots.txt file”, depois “for the next 30 days Google will use the last good version”, e o comportamento após 30 dias; “Google follows at least five redirect hops”; “if the content downloaded is HTML instead of robots.txt rules, Google will try to parse the content and extract rules, and ignore everything else”; “Google enforces a robots.txt file size limit of 500 kibibytes (KiB). Content which is after the maximum file size is ignored”; e “Google generally caches the contents of robots.txt file for up to 24 hours”.
M. Koster, G. Illyes, H. Zeller e L. Sassman, “Robots Exclusion Protocol”, RFC 9309, IETF, setembro de 2022, Standards Track, https://www.rfc-editor.org/rfc/rfc9309.html. Illyes, Zeller e Sassman assinam pelo Google. Acesso em 14 de setembro de 2026. Trechos: o protocolo “originally defined by Martijn Koster in 1994”; “These rules are not a form of access authorization.”; na seção 2.2.2, “The most specific match found MUST be used” e, com regras equivalentes, a de permissão “SHOULD be used”; na seção 2.5, “The parsing limit MUST be at least 500 kibibytes”; e na seção 3, “The Robots Exclusion Protocol is not a substitute for valid content security measures. Listing paths in the robots.txt file exposes them publicly and thus makes the paths discoverable.”
IANA, “Example Domains”, https://www.iana.org/help/example-domains. Acesso em 14 de setembro de 2026. Os domínios como example.com são mantidos para uso em documentação e não estão disponíveis para registro ou transferência, com base nas RFC 2606 e 6761.
OpenAI, “Overview of OpenAI Crawlers”, https://developers.openai.com/api/docs/bots. Acesso em 14 de setembro de 2026. Trechos: “OAI-SearchBot is used to surface websites in search results in ChatGPT’s search features. Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links”; sobre o GPTBot, “It is used to crawl content that may be used in training our generative AI foundation models. Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models”; o exemplo do dono de site que libera o OAI-SearchBot e bloqueia o GPTBot; sobre o ChatGPT-User, “Because these actions are initiated by a user, robots.txt rules may not apply”; e “it can take ~24 hours from a site’s robots.txt update for our systems to adjust”.
Registro da SEO Genome, 14 de setembro de 2026. O exemplo foi conferido por um script próprio que aplica as regras de grupo e de precedência da nota 5 (grupo com o nome do robô ou, na falta dele, o do asterisco; regra de caminho mais longo; empate a favor da permissão). Resultado: Googlebot liberado em /produtos/camisa-azul e em /carrinho/como-comprar.html, bloqueado em /carrinho/ e em /produtos?ordem=preco; GPTBot bloqueado em todo o site; OAI-SearchBot, sem grupo próprio, liberado em /produtos/camisa-azul e bloqueado em /carrinho/. O script não é a biblioteca de código aberto do Google.
Ajuda do Search Console, “Page indexing report”, https://support.google.com/webmasters/answer/7440203. Acesso em 14 de setembro de 2026. No status “Indexed, though blocked by robots.txt”: “The page was indexed despite being blocked by your website’s robots.txt file. Google always respects robots.txt, but this doesn’t necessarily prevent indexing if someone else links to your page.” A versão em português traz aviso de tradução por IA; por isso o nome do status fica em inglês.
Google Search Central, “Block Search indexing with noindex”, https://developers.google.com/search/docs/crawling-indexing/block-indexing, página atualizada em 10 de dezembro de 2025. Acesso em 14 de setembro de 2026. Trechos: “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file”; “If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results”; e “Specifying the noindex rule in the robots.txt file is not supported by Google.”
Daniel Sócrates, SEO de Entidade, 2026, capítulo 9, “Para uma IA te citar, você atravessa quatro portões”, seção “Três robôs com três crachás”. A imagem dos crachás e a leitura de que liberar ou bloquear cada robô virou decisão de distribuição, que não deveria ficar só com quem cuida do servidor.
Google Crawling Infrastructure, “List of Google’s common crawlers”, https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers, página atualizada em 14 de julho de 2026. O endereço antigo, na documentação do Search Central, redireciona para este. Acesso em 14 de setembro de 2026. Trechos: os rastreadores comuns “always obey robots.txt rules when crawling automatically”; o Googlebot afeta “Google Search (including Discover and all Google Search features)”; o Google-Extended “doesn’t have a separate HTTP request user agent string” e “the robots.txt user-agent token is used in a control capacity”; ele decide se o conteúdo “may be used for training future generations of Gemini models that power Gemini Apps and Vertex AI API for Gemini and for grounding” nos apps Gemini e no Grounding with Google Search da Vertex AI; e “Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.”
Google Search Central, “AI features and your website”, https://developers.google.com/search/docs/appearance/ai-features, página atualizada em 10 de dezembro de 2025. Acesso em 14 de setembro de 2026. Trechos: “AI is built into Search and integral to how Search functions, which is why robots.txt directives for Googlebot is the control for site owners to manage access to how their sites are crawled for Search”; e “To limit the information shown from your pages in Search, use nosnippet, data-nosnippet, max-snippet, or noindex controls. To limit AI training and grounding in some of Google’s other systems, read more about Google-Extended.”
Perplexity, “Perplexity Crawlers”, https://docs.perplexity.ai/docs/resources/perplexity-crawlers. O endereço antigo, https://docs.perplexity.ai/guides/bots, redireciona para este. Acesso em 14 de setembro de 2026. Trechos: “PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models”; “To ensure your site appears in search results, we recommend allowing PerplexityBot”; sobre o Perplexity-User, “Since a user requested the fetch, this fetcher generally ignores robots.txt rules”; e “it may take up to 24 hours for our systems to reflect changes”.
Anthropic, central de ajuda, “Does Anthropic crawl data from the web, and how can site owners block the crawler?”, 7 de abril de 2026, https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler. Acesso em 14 de setembro de 2026. Trechos: o ClaudeBot coleta conteúdo “that could potentially contribute to their training”; “When a site restricts ClaudeBot access, it signals that the site’s future materials should be excluded from our AI model training datasets”; “Disabling Claude-SearchBot on your site prevents our system from indexing your content for search optimization, which may reduce your site’s visibility and accuracy in user search results”; restringir o Claude-User “may reduce your site’s visibility for user-directed web search”; “Anthropic’s Bots respect “do not crawl” signals by honoring industry standard directives in robots.txt”; e “we support the non-standard Crawl-delay extension to robots.txt”.
Ajuda do Search Console, “Search generative AI control”, https://support.google.com/webmasters/answer/16908024. Acesso em 14 de setembro de 2026. O controle cobre AI Overviews, AI Mode e os recursos de IA generativa do Discover, e fica em Configurações do Search Console. Com o site excluído, “Content from other sites will still be available in those features, and it may appear similar to yours.” E “This control doesn’t affect AI training; to limit training of the models used to generate responses in Search generative AI features, use Google-Extended.”
Registro da SEO Genome, investigação de caso de cliente em 2 de agosto de 2026, arquivo interno, cliente não identificado. Coleta por curl do robots.txt entregue pelo domínio principal. O arquivo tinha duas partes. Primeiro, um bloco entre as marcas # BEGIN Cloudflare Managed content e # END Cloudflare Managed Content, com Disallow: / para Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, CloudflareBrowserRenderingCrawler, Google-Extended, GPTBot e meta-externalagent. Depois, as regras escritas pelo time no WordPress, com o comentário de referência para robôs de IA. OAI-SearchBot, PerplexityBot e Claude-SearchBot não estavam na lista. O mesmo bloco aparecia em quatro dos seis domínios do mesmo dono; os outros dois não tinham bloqueio de IA.
Cloudflare Docs, “robots.txt setting”, https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/, página atualizada em 3 de agosto de 2026. Acesso em 14 de setembro de 2026. Trechos: “When you turn on the managed robots.txt setting, Cloudflare generates and maintains a robots.txt file that instructs known AI crawlers to stay away from your content”; “Cloudflare will prepend our managed robots.txt before your existing robots.txt, combining both into a single response”; o exemplo com as marcas ”# BEGIN Cloudflare Managed content” e ”# END Cloudflare Managed Content”; a opção “Set your preference to block training in robots.txt”; e “Google Search Console may occasionally report Syntax not understood for Content Signals and newer directives in the robots.txt standard. However, we have observed no impact on crawling rates or SEO as a result of these reports.”
Ajuda do Search Console, “robots.txt report”, https://support.google.com/webmasters/answer/6062598; versão em português, “Relatório robots.txt”, com aviso de tradução por IA. Acesso em 14 de setembro de 2026. Trechos: “The robots.txt report shows which robots.txt files Google found for the top 20 hosts on your site, the last time they were crawled, and any warnings or errors encountered”; as colunas de caminho, status da busca, data da verificação, tamanho e problemas; as versões buscadas “in the last 30 days”; o pedido de novo rastreamento, com “note that this doesn’t guarantee an immediate recrawl of unblocked URLs”; “This report is available only for properties at the domain level”; “Not having a robots.txt file is fine, and means that Google can crawl all URLs on your site”; e, para um endereço específico, “you can test the availability of the URL with the URL inspection tool”.

Robots.txt: o que o arquivo controla, e o que ele não faz