Generador Robots.txt

Generar archivos robots.txt para controlar el comportamiento de rastreo de motores de búsqueda

Agente de Usuario

Directivas

URL del Sitemap

Retraso de Rastreo (segundos)

URL del Host

0 caracteres

1. Subir: Coloque el archivo robots.txt generado en el directorio raíz de su sitio web

2. Acceder: Debería ser accesible en https://sudominio.com/robots.txt

3. Probar: Use Google Search Console para probar su archivo robots.txt

4. Monitorear: Revise las estadísticas de rastreo regularmente para asegurar el funcionamiento correcto

Disallow: /admin/ Disallow: /private/

Disallow: /*.pdf$ Disallow: /*.doc$

User-agent: Googlebot Allow: /

User-agent: * Crawl-delay: 10