Robots.txt生成ツール
ZourTools ProのRobots.txt生成ツールは、自動スパイダーシステムのクロール指示を構造化し、分離されたディレクトリフォルダを保護し、クロール予算を最適化します。
Robots.txtクロール指示を生成
Robots.txt構成ファイルを作成する方法
デフォルトルールを構成
インデックスクローラーのグローバルアクセス権限を設定し、ベースライン構造マッピングルートを宣言してください。
ディレクトリ制限を分離
システムコードアセット配列や管理ファイルのインデックスをブロックするために明示的な制限パスを追加してください。
構成コードをエクスポート
最終的な構文文字列レイアウトマトリックス構造を構築し、サイトルートディレクトリパスにコピーしてください。
Robots.txtとは？
Robots.txtは、ウェブサイトのルートディレクトリに配置されるテキストファイルで、検索エンジンクローラーがサイトからどのページやファイルをリクエストできるか、できないかを伝えます。これはRobots Exclusion Protocolの一部であり、Google、Bing、Yahooなどの主要検索エンジンが使用する標準です。robots.txtは遵守を強制しません—クローラーは自発的にそのルールに従います—が、検索エンジンがウェブサイトとどのように相互作用するかを管理するための重要なツールです。
なぜRobots.txtを使うのか？
Robots.txtはいくつかの方法で検索エンジンのクロールを制御するのに役立ちます。検索エンジンが管理ページ、ログインエリア、重複コンテンツをインデックスするのをブロックします。クローラーが重要でないファイルに帯域幅を浪費するのを防ぎます。より良いインデックス作成のために検索エンジンをサイトマップに導きます。機密ディレクトリが検索結果に表示されるのを保護します。ウェブサイト構造が何であれ、robots.txtはクローラーの動作を制御できます。
主な機能
- ユーザーエージェント選択：すべてのクローラーまたは特定の検索エンジンをターゲット。
- 禁止パス：ディレクトリ、ファイル、パターンをクロールからブロック。
- 許可パス：禁止ルールの例外を作成。
- サイトマップ宣言：クローラーをXMLサイトマップに誘導。
- クロール遅延：サーバー負荷を減らすためにリクエスト間の遅延を指定。
- 即時生成：robots.txtコンテンツを即座に作成。
- コピーとダウンロード：生成されたコンテンツの簡単なエクスポート。
- 登録不要：すぐに生成を開始。
Robots.txtディレクティブの説明
User-agent
ルールが適用されるクローラーを指定します。すべてのクローラーには*を使用するか、Googlebotなどの特定のボットを指定します。
Disallow
クロールすべきでないパスを指定します。すべてをブロックするには/、特定のパスには/admin/などを使用します。
Allow
クロールできるパスを指定し、禁止ルールを上書きします。例外を作成するのに役立ちます。
Sitemap
XMLサイトマップへの完全なURLを提供し、検索エンジンがコンテンツを発見するのを助けます。
Crawl-delay
リクエスト間の待機秒数を指定します。一部のクローラーがサポートしていますが、すべてではありません。
一般的なRobots.txtの例
すべてをブロック
すべてのクローラーがサイトをインデックスするのを防ぎます（ステージング環境に役立ちます）。
特定のディレクトリをブロック
管理、includes、プライベートディレクトリのクロールを防ぎます。
すべてを許可
すべてのクローラーにサイトへの完全なアクセスを許可します（デフォルトの動作）。
特定のクローラーをブロック
競合他社やスクレイピングサービスからのボットなど、特定のボットをターゲットにします。
Robots.txtのベストプラクティス
robots.txtをウェブサイトのルートディレクトリに配置してください。ファイル名とパスには小文字を使用してください。Google Search Consoleを使用してrobots.txtをテストしてください。機密情報を隠すためにrobots.txtを使用しないでください—代わりに認証を使用してください。robots.txtでページをブロックしても、他の場所でリンクされている場合、検索結果から削除されません。検索結果から削除したいページにはnoindexメタタグを使用してください。
一般的な用途
ステージングサイト
開発またはステージング環境からすべてのクローラーをブロックします。
管理エリア
検索エンジンが管理パネルとログインページをインデックスするのを防ぎます。
重複コンテンツ
クローラーが重複または低価値のページにアクセスするのをブロックします。
クロール予算の最適化
クローラーを重要でないページから遠ざけ、価値のあるコンテンツに集中させます。
サイトマップの場所
より良いインデックス作成のためにクローラーがXMLサイトマップを見つけるのを助けます。
よくある質問
robots.txtはインデックスを防ぎますか？
いいえ、robots.txtはクロールを防ぎ、インデックスは防ぎません。robots.txtでブロックされたページは、他の場所でリンクされている場合、検索結果に表示される場合があります。
Googlebotをブロックするとどうなりますか？
Googlebotをブロックすると、Googleがサイトをクロールできなくなり、時間の経過とともにGoogle検索結果からページが削除されます。
robots.txtはどこに置きますか？
robots.txtはウェブサイトのルートディレクトリに配置する必要があります：https://example.com/robots.txt
複数のrobots.txtファイルを持てますか？
いいえ、ドメインごとに1つのrobots.txtファイルのみが認識され、ルートに配置されます。
ツールは無料ですか？
はい、ZourTools ProのRobots.txt生成ツールは制限なく完全に無料です。