検索エンジンのクロール動作を制御するrobots.txtファイルを生成
Disallow: /admin/ Disallow: /private/
Disallow: /*.pdf$ Disallow: /*.doc$
User-agent: Googlebot Allow: /
User-agent: * Crawl-delay: 10