Gerador Robots.txt

Gerar arquivos robots.txt para controlar o comportamento de rastreamento de mecanismos de busca

Agente de Usuário

Diretivas

URL do Sitemap

Atraso de Rastreamento (segundos)

URL do Host

0 caracteres

1. Enviar: Coloque o arquivo robots.txt gerado no diretório raiz do seu site

2. Acessar: Deve ser acessível em https://seudominio.com/robots.txt

3. Testar: Use o Google Search Console para testar seu arquivo robots.txt

4. Monitorar: Verifique as estatísticas de rastreamento regularmente para garantir o funcionamento adequado

Disallow: /admin/ Disallow: /private/

Disallow: /*.pdf$ Disallow: /*.doc$

User-agent: Googlebot Allow: /

User-agent: * Crawl-delay: 10