公開日:
更新日:
robots.txtとは?noindexとの違い・書き方と使い分けを解説

この記事の筆者
TANAKA YU
株式会社JIMOTO Marketing Share Bureauをはじめ他企業でもマーケティング活動に従事するパラレルワーカーです!今は、株式会社JIMOTO Marketing Share Bureau以外の会社でもBtoBマーケターとして活躍中!BtoBマーケティングキャリア4年目!
「検索に出したくないページがある」「robots.txtを触ったら検索流入が急に減った」。こうした場面で混同されやすいのが、robots.txtとnoindexです。どちらも検索エンジンへの指示ですが、役割はまったく異なります。
この記事では、robots.txtとnoindexの違い、それぞれの書き方と使い分け、誤設定によるトラブルと確認方法を解説します。技術面のSEO全体はテクニカルSEOの基本と内部対策にまとめています。
200社以上の中小企業を支援してきた当社の経験と、Google検索セントラルの公式ドキュメントをもとに整理しました。
この記事でわかること
robots.txtとnoindexの役割の違い
robots.txtの基本的な書き方とルール
noindexの2つの指定方法
目的別の使い分け方
よくある誤設定と、Search Consoleでの確認方法
SEO・AI検索対策の全体像と、どの順番で学べばよいかは「中小企業のSEO・AI検索対策ガイド」で整理しています。
robots.txtとは?noindexとの違い
robots.txtとは、サイトのルートに置くテキストファイルで、クローラーにアクセスしてよいURLを伝えるものです。
Googleによると、robots.txtの主な目的はクローラーのアクセスによるサーバーの負荷を減らすことです。重要でないページや似たページのクロールを避けたり、画像・動画などのファイルを検索結果に出さないようにしたりする用途でも使います。
noindexとは
noindexは、ページをGoogleのインデックスに登録しないよう伝える指定です。ページのHTMLかHTTPヘッダーに書きます。noindexを読み取ったGoogleは、そのページを検索結果から外します。
「クロールの制御」と「インデックスの制御」の違い
robots.txtは「見に来ないで」、noindexは「見てもいいが検索結果には載せないで」という指示です。Googleは、robots.txtは「ページをGoogleに表示させないための仕組みではない」と明言しています。
比較項目 | robots.txt | noindex |
|---|---|---|
制御するもの | クロール(巡回) | インデックス(検索結果への登録) |
書く場所 | サイトのルートの1ファイル | 各ページのHTMLかHTTPヘッダー |
主な目的 | サーバー負荷の軽減、不要なクロールの抑制 | 特定のページを検索結果から外す |
検索結果への影響 | URLが説明文なしで表示されることがある | クロール後に検索結果から外れる |
クロールとインデックスの違いそのものは、クローラーとインデックス登録の仕組みで詳しく解説しています。

robots.txtの書き方と基本ルール
ここでは、Googleのドキュメントに沿ってrobots.txtの作り方を説明します。
ファイルの置き場所と形式
ファイル名は必ず「robots.txt」にする
サイトのルート(例:https://www.example.com/robots.txt)に置く。サブフォルダでは無効
1つのサイトに置けるrobots.txtは1つだけ
プロトコル・ホスト・ポートごとに適用されるため、サブドメインには別に必要
文字コードはUTF-8のテキストファイルにする
Googleはrobots.txtのサイズに500KiBの上限を設けており、それを超えた部分は無視されます。中小企業のサイトで上限に近づくことはまずありません。
基本の記述例
Googleのドキュメントにある例をもとにした、基本的なrobots.txtです。
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
この例では、Googlebotに「/nogooglebot/」以下のクロールを禁止し、その他のクローラーにはサイト全体を許可しています。最後の行でXMLサイトマップの場所を伝えています。
使える主なルール
user-agent:ルールの対象となるクローラー。「*」はAdsBot以外のすべてのクローラーを指す
disallow:クロールさせないパス。「/」から書き始め、フォルダなら末尾も「/」にする
allow:disallowで止めたフォルダの中で、例外的に許可するパス
sitemap:サイトマップの場所。「https://」から始まる完全なURLで書く
書くときの注意点
ルールは大文字と小文字を区別する(/file.aspと/FILE.aspは別物)
「*」はワイルドカード(任意の文字列)として使える
「#」から後ろはコメントとして無視される
ルールが衝突した場合、Googleは制限の最も少ないルールを使う
crawl-delay(巡回間隔の指定)はGoogleではサポートされていない
robots.txtにnoindexを書いても、Googleはサポートしていない
WordPressなど多くのCMSは、robots.txtを自動で出力しています。ファイルを直接置く前に、ブラウザで現在の内容を確認しましょう。
noindexの使い方と書き方
noindexの指定方法は、metaタグとHTTPヘッダーの2種類です。
metaタグで指定する
一般的なWebページでは、HTMLのhead内に次の1行を書きます。対応するすべての検索エンジンに向けた指定です。
<meta name="robots" content="noindex">
Googleのクローラーだけを対象にする場合は、nameの値を「googlebot」にします。noindexは、リンクをたどらせない「nofollow」など他の指定と組み合わせることもできます。
HTTPヘッダー(X-Robots-Tag)で指定する
PDFや画像など、HTMLでないファイルにはHTTPヘッダーで指定します。サーバーの応答に「X-Robots-Tag: noindex」を含める方法です。サーバー設定が必要なため、制作会社やサーバー管理者に依頼するのが一般的です。
noindexを付けるとよいページの例
問い合わせ完了後の「送信ありがとうございました」ページ
社内確認用のテストページや公開前の下書きページ
サイト内検索の結果ページ
内容がほとんどないタグ一覧ページなど
noindexの効果はすぐには出ません。Googleが次にそのページをクロールしたときに反映されます。ページの重要度によっては、Googlebotが再訪するまで数か月かかることもあるとGoogleは説明しています。
robots.txtとnoindexの使い分け
目的ごとに、どちらを使うべきかを整理します。迷ったら「検索結果から外したいのか」「クロールを減らしたいのか」で考えると判断しやすくなります。
目的 | 使う方法 | 理由 |
|---|---|---|
特定のページを検索結果から外したい | noindex(クロールは許可) | robots.txtではURLが表示されることがある |
管理画面などへのクロールを減らしたい | robots.txtのdisallow | 検索に出す必要がなく、巡回も不要 |
画像・動画を検索結果に出したくない | robots.txt | メディアファイルの表示抑制に使える |
重複URLを1つにまとめたい | canonicalまたは301リダイレクト | robots.txtやnoindexは正規化に不向き |
他人に見られたくないページ | パスワードによる保護 | robots.txtは強制力がない |
noindexとrobots.txtを同時に使わない
最も多い誤解が、「検索に出したくないページをrobots.txtで止め、さらにnoindexも付ける」という設定です。Googleは、noindexを機能させるにはそのページをrobots.txtでブロックしてはいけないとしています。
ブロックされているとクローラーがページを読めず、noindexに気づけません。その結果、他のページからリンクされていればURLが検索結果に残ることがあります。
また、重複ページの整理にnoindexを使うのも推奨されていません。正規URLの指定はcanonicalタグの書き方で解説しています。

robots.txtとnoindexの誤設定によるトラブル
どちらも1行で大きな影響が出る設定です。実務でよく起きるトラブルを紹介します。
サイト全体をブロックしてしまう
「User-agent: *」の下に「Disallow: /」と書くと、サイト全体のクロールを禁止することになります。制作中に付けたこの設定が、公開後も残っているケースがあります。
テスト環境のnoindexが残ったまま公開する
リニューアル時に、制作中のサイトへ付けたnoindexを外し忘れる例です。公開後しばらくして、重要ページが検索結果から消えて気づくことになります。
CSSやJavaScriptをブロックしてしまう
Googleは、ページの理解に必要な画像・スクリプト・スタイルのファイルはブロックしないよう注意しています。これらを止めると、Googleがページを正しく分析できなくなるおそれがあります。
robots.txtがエラーを返している
robots.txtにアクセスしたとき、サーバーエラー(5xx)が返ると、Googleは最初の12時間はサイトのクロールを止めます。一方、404などの4xxエラー(429を除く)の場合は、robots.txtがないものとして制限なしで扱われます。
また、Googleはrobots.txtの内容を通常最大24時間キャッシュ(一時保存)します。修正してもすぐには反映されない点も覚えておきましょう。
robots.txtとnoindexの設定を確認する方法
設定後は、Search Consoleで意図どおりに働いているかを確認します。手順は次のとおりです。
ブラウザのシークレットウィンドウで「/robots.txt」を開き、公開されているか確かめる
Search Consoleの「robots.txt」レポートで、Googleが取得した内容とエラーの有無を見る
noindexを付けたページをURL検査ツールで調べ、noindexが検出されているか確認する
公開したいページが「ページのインデックス登録」レポートでnoindexやrobots.txtを理由に除外されていないか見る
誤りを直したら、URL検査ツールから再クロールをリクエストする
Search Consoleのヘルプによると、robots.txtでブロックしているページは、URL検査ツールで「インデックス登録を許可?」が常に「はい」と表示されます。noindexを読み取れないためで、見誤らないよう注意が必要です。
Search Consoleの基本操作はサーチコンソールの使い方で解説しています。サイト改修のついでに見直す場合は、ホームページ作成の費用相場もあわせてご覧ください。

よくある質問
robots.txtはすべてのサイトに必要ですか?
必須ではありません。robots.txtがない場合、Googleは制限なしでクロールします。クロールさせたくない領域がない小規模なサイトなら、なくても問題ありません。サイトマップの場所を伝えるために置くのはよい方法です。
robots.txtでブロックすれば検索結果から消えますか?
消えるとは限りません。Googleは、ブロックしたURLでも他サイトからリンクされていれば、説明文なしで表示されることがあるとしています。確実に外したい場合は、クロールを許可したうえでnoindexを使ってください。
noindexを付けたのに検索結果に残っています。
Googleがまだそのページを再クロールしていない可能性が高いです。robots.txtでブロックしていないかを確認し、URL検査ツールから再クロールをリクエストしましょう。急いで消したい場合は、Search Consoleの削除に関する機能も検討します。
robots.txtで悪意のあるクローラーを防げますか?
防げません。robots.txtは行儀のよいクローラーが自主的に従うもので、強制力はありません。見られたくない情報は、パスワード保護などで守る必要があります。
noindexを付けたページは、サイトの評価に悪影響がありますか?
お礼ページや検索結果ページなど、検索から来ても役に立たないページにnoindexを付けることは一般的な運用です。ただし、公開したい重要ページに誤って付けていないかは定期的に確認しましょう。
まとめ:robots.txtとnoindexは目的で使い分ける
robots.txtはクロールを、noindexはインデックス(検索結果への登録)を制御する
検索結果から外したいページは、robots.txtでブロックせずにnoindexを使う
robots.txtはルートに1つ置き、大文字小文字の区別やワイルドカードのルールに注意する
サイト全体のブロック、テスト用noindexの残し忘れなど、1行の誤設定が大きなトラブルにつながる
設定後はSearch Consoleで確認する。SEO全体の進め方は中小企業のためのSEO対策で解説しています
SEO対策のご相談はJIMOTOの外付けマーケチームへ
マーケティング代行「JIMOTOの外付けマーケチーム」は、SEOの内部対策・記事制作・効果測定を含め、戦略から実行まで専門チームがまとめて引き受ける総合型のマーケティング代行です。テクニカルな設定の確認から記事づくり、数字の振り返りまで、社内に専任者がいなくても進められます。
採用・教育は不要。相談から稼働開始まで1か月未満
戦略立案から実行まで一貫体制
稼働を15分単位で記録して毎週開示。使い切らなかった分は翌月に繰り越し
月額30万円から(税別)
→ 料金プランや支援内容を見る(マーケティング代行サービスページ)
記事監修
株式会社JIMOTO Marketing Share Bureau
代表取締役 鶴 智之(プロフィール)
キャリアを通してBtoBマーケティングのクライアントワークに従事。前職では株式会社Resorzの取締役を務め、海外ビジネス支援事業にも携わる。200社以上のマーケティング支援実績と、多数の自治体案件のPM経験を持つ。「マーケティングで地域を元気に」をモットーに、地域企業の成長を支援している。
参考文献
出典 | 参照した内容 |
|---|---|
robots.txtの目的と制限、ページを非表示にする手段ではないこと | |
ファイルの置き場所と形式、ルールの書き方、記述例 | |
キャッシュ期間、エラー時の扱い、サイズ上限、ルールの優先順位 | |
noindexの指定方法、robots.txtと併用しない理由、反映までの時間 | |
robots.txtでブロックした場合の表示に関する注意点 |
おすすめ記事
この記事を読んだ方は以下の記事も読んでます!







