Robots.txt é um arquivo de texto colocado na raiz do site, no endereço do domínio seguido de /robots.txt, que informa aos rastreadores de buscadores quais áreas podem ser visitadas e quais devem ser evitadas. Funciona por convenção: rastreadores confiáveis obedecem, mas o arquivo não protege nada, pois qualquer pessoa pode lê-lo.
Como funciona
O arquivo é formado por blocos que indicam o agente de usuário, ou seja, o rastreador, e regras de permissão ou bloqueio para caminhos do site. Também pode apontar a localização do sitemap. Antes de rastrear, o buscador consulta o arquivo e segue as regras que se aplicam a ele.
Para que serve na oficina
- Evitar que áreas administrativas ou páginas de busca interna sejam rastreadas sem necessidade.
- Indicar o endereço do sitemap.
- Orientar rastreadores de IA, quando a oficina quiser permitir ou limitar o acesso.
Passo a passo
- Verifique se o site já tem o arquivo, digitando o endereço no navegador.
- Liste o que realmente precisa ficar de fora, como áreas de login.
- Escreva as regras de forma simples e mantenha o sitemap indicado.
- Teste o arquivo na ferramenta do Google Search Console antes de publicar.
- Revise sempre que a estrutura do site mudar.
Erros comuns
- Bloquear o site inteiro por engano, deixando de aparecer nas buscas, geralmente um resto de configuração de testes.
- Bloquear arquivos de estilo e scripts, atrapalhando a leitura correta da página.
- Usar o arquivo para esconder informações sensíveis: ele é público.
- Confundir bloquear rastreamento com impedir indexação, que são coisas diferentes.
Como medir resultado
No Google Search Console, confira se as páginas importantes estão sendo rastreadas e indexadas, e se não há avisos de bloqueio. Qualquer queda súbita depois de mexer no arquivo indica que a mudança deve ser revertida e revisada.
Perguntas frequentes
Robots.txt impede que uma página apareça no Google?
Não necessariamente. Ele impede o rastreamento, mas uma página pode ser listada por links externos. Para evitar indexação, use outras instruções na própria página.
Todo site de oficina precisa de robots.txt?
Não é obrigatório, mas é recomendado ter um arquivo simples que aponte o sitemap e proteja áreas internas.
Quer organizar sua oficina de verdade?
Receba uma demonstração do CarFix aplicada à rotina da sua oficina. Seus dados serão usados apenas para este contato.