Robots.txt生成器

生成robots.txt文件以控制搜索引擎爬虫行为

用户代理

指令

站点地图URL

抓取延迟（秒）

主机URL

0个字符

1. 上传：将生成的robots.txt文件放在网站的根目录中

2. 访问：应该可以通过https://yourdomain.com/robots.txt访问

3. 测试：使用Google Search Console测试您的robots.txt文件

4. 监控：定期检查抓取统计以确保正常运行

Disallow: /admin/ Disallow: /private/

Disallow: /*.pdf$ Disallow: /*.doc$

User-agent: Googlebot Allow: /

User-agent: * Crawl-delay: 10