株式会社JIMOTO Marketing Share Bureauのロゴ画像

公開日:

2026/11/9

    更新日:

    2026/11/12

      robots.txtとは?noindexとの違い・書き方と使い分けを解説

      robots.txtとは?noindexとの違い・書き方と使い分けを解説

      この記事の筆者

      TANAKA YU

      株式会社JIMOTO Marketing Share Bureauをはじめ他企業でもマーケティング活動に従事するパラレルワーカーです!今は、株式会社JIMOTO Marketing Share Bureau以外の会社でもBtoBマーケターとして活躍中!BtoBマーケティングキャリア4年目!

      「検索に出したくないページがある」「robots.txtを触ったら検索流入が急に減った」。こうした場面で混同されやすいのが、robots.txtとnoindexです。どちらも検索エンジンへの指示ですが、役割はまったく異なります。

      この記事では、robots.txtとnoindexの違い、それぞれの書き方と使い分け、誤設定によるトラブルと確認方法を解説します。技術面のSEO全体はテクニカルSEOの基本と内部対策にまとめています。

      200社以上の中小企業を支援してきた当社の経験と、Google検索セントラルの公式ドキュメントをもとに整理しました。

      この記事でわかること

      • robots.txtとnoindexの役割の違い

      • robots.txtの基本的な書き方とルール

      • noindexの2つの指定方法

      • 目的別の使い分け方

      • よくある誤設定と、Search Consoleでの確認方法

      SEO・AI検索対策の全体像と、どの順番で学べばよいかは「中小企業のSEO・AI検索対策ガイド」で整理しています。

      robots.txtとは?noindexとの違い

      robots.txtとは、サイトのルートに置くテキストファイルで、クローラーにアクセスしてよいURLを伝えるものです。

      Googleによると、robots.txtの主な目的はクローラーのアクセスによるサーバーの負荷を減らすことです。重要でないページや似たページのクロールを避けたり、画像・動画などのファイルを検索結果に出さないようにしたりする用途でも使います。

      noindexとは

      noindexは、ページをGoogleのインデックスに登録しないよう伝える指定です。ページのHTMLかHTTPヘッダーに書きます。noindexを読み取ったGoogleは、そのページを検索結果から外します。

      「クロールの制御」と「インデックスの制御」の違い

      robots.txtは「見に来ないで」、noindexは「見てもいいが検索結果には載せないで」という指示です。Googleは、robots.txtは「ページをGoogleに表示させないための仕組みではない」と明言しています。

      比較項目

      robots.txt

      noindex

      制御するもの

      クロール(巡回)

      インデックス(検索結果への登録)

      書く場所

      サイトのルートの1ファイル

      各ページのHTMLかHTTPヘッダー

      主な目的

      サーバー負荷の軽減、不要なクロールの抑制

      特定のページを検索結果から外す

      検索結果への影響

      URLが説明文なしで表示されることがある

      クロール後に検索結果から外れる

      クロールとインデックスの違いそのものは、クローラーとインデックス登録の仕組みで詳しく解説しています。

      robots.txtとnoindexの基本ルールを4つにまとめた図。robots.txtは巡回の制御、noindexは検索結果からの除外、両者を同時に使わない、秘密の情報はパスワードで守る、という要点を説明している。

      robots.txtの書き方と基本ルール

      ここでは、Googleのドキュメントに沿ってrobots.txtの作り方を説明します。

      ファイルの置き場所と形式

      • ファイル名は必ず「robots.txt」にする

      • サイトのルート(例:https://www.example.com/robots.txt)に置く。サブフォルダでは無効

      • 1つのサイトに置けるrobots.txtは1つだけ

      • プロトコル・ホスト・ポートごとに適用されるため、サブドメインには別に必要

      • 文字コードはUTF-8のテキストファイルにする

      Googleはrobots.txtのサイズに500KiBの上限を設けており、それを超えた部分は無視されます。中小企業のサイトで上限に近づくことはまずありません。

      基本の記述例

      Googleのドキュメントにある例をもとにした、基本的なrobots.txtです。

      User-agent: Googlebot
      Disallow: /nogooglebot/

      User-agent: *
      Allow: /

      Sitemap: https://www.example.com/sitemap.xml

      この例では、Googlebotに「/nogooglebot/」以下のクロールを禁止し、その他のクローラーにはサイト全体を許可しています。最後の行でXMLサイトマップの場所を伝えています。

      使える主なルール

      • user-agent:ルールの対象となるクローラー。「*」はAdsBot以外のすべてのクローラーを指す

      • disallow:クロールさせないパス。「/」から書き始め、フォルダなら末尾も「/」にする

      • allow:disallowで止めたフォルダの中で、例外的に許可するパス

      • sitemap:サイトマップの場所。「https://」から始まる完全なURLで書く

      書くときの注意点

      • ルールは大文字と小文字を区別する(/file.aspと/FILE.aspは別物)

      • 「*」はワイルドカード(任意の文字列)として使える

      • 「#」から後ろはコメントとして無視される

      • ルールが衝突した場合、Googleは制限の最も少ないルールを使う

      • crawl-delay(巡回間隔の指定)はGoogleではサポートされていない

      • robots.txtにnoindexを書いても、Googleはサポートしていない

      WordPressなど多くのCMSは、robots.txtを自動で出力しています。ファイルを直接置く前に、ブラウザで現在の内容を確認しましょう。

      noindexの使い方と書き方

      noindexの指定方法は、metaタグとHTTPヘッダーの2種類です。

      metaタグで指定する

      一般的なWebページでは、HTMLのhead内に次の1行を書きます。対応するすべての検索エンジンに向けた指定です。

      <meta name="robots" content="noindex">

      Googleのクローラーだけを対象にする場合は、nameの値を「googlebot」にします。noindexは、リンクをたどらせない「nofollow」など他の指定と組み合わせることもできます。

      HTTPヘッダー(X-Robots-Tag)で指定する

      PDFや画像など、HTMLでないファイルにはHTTPヘッダーで指定します。サーバーの応答に「X-Robots-Tag: noindex」を含める方法です。サーバー設定が必要なため、制作会社やサーバー管理者に依頼するのが一般的です。

      noindexを付けるとよいページの例

      • 問い合わせ完了後の「送信ありがとうございました」ページ

      • 社内確認用のテストページや公開前の下書きページ

      • サイト内検索の結果ページ

      • 内容がほとんどないタグ一覧ページなど

      noindexの効果はすぐには出ません。Googleが次にそのページをクロールしたときに反映されます。ページの重要度によっては、Googlebotが再訪するまで数か月かかることもあるとGoogleは説明しています。

      robots.txtとnoindexの使い分け

      目的ごとに、どちらを使うべきかを整理します。迷ったら「検索結果から外したいのか」「クロールを減らしたいのか」で考えると判断しやすくなります。

      目的

      使う方法

      理由

      特定のページを検索結果から外したい

      noindex(クロールは許可)

      robots.txtではURLが表示されることがある

      管理画面などへのクロールを減らしたい

      robots.txtのdisallow

      検索に出す必要がなく、巡回も不要

      画像・動画を検索結果に出したくない

      robots.txt

      メディアファイルの表示抑制に使える

      重複URLを1つにまとめたい

      canonicalまたは301リダイレクト

      robots.txtやnoindexは正規化に不向き

      他人に見られたくないページ

      パスワードによる保護

      robots.txtは強制力がない

      noindexとrobots.txtを同時に使わない

      最も多い誤解が、「検索に出したくないページをrobots.txtで止め、さらにnoindexも付ける」という設定です。Googleは、noindexを機能させるにはそのページをrobots.txtでブロックしてはいけないとしています。

      ブロックされているとクローラーがページを読めず、noindexに気づけません。その結果、他のページからリンクされていればURLが検索結果に残ることがあります。

      また、重複ページの整理にnoindexを使うのも推奨されていません。正規URLの指定はcanonicalタグの書き方で解説しています。

      robots.txtとnoindexの使い分けを判断する図。検索結果から外す、重複を整理する、巡回を減らす、人に見せない、の目的別にnoindex、canonical、robots.txt、パスワード保護を選ぶ流れを示す。

      robots.txtとnoindexの誤設定によるトラブル

      どちらも1行で大きな影響が出る設定です。実務でよく起きるトラブルを紹介します。

      サイト全体をブロックしてしまう

      「User-agent: *」の下に「Disallow: /」と書くと、サイト全体のクロールを禁止することになります。制作中に付けたこの設定が、公開後も残っているケースがあります。

      テスト環境のnoindexが残ったまま公開する

      リニューアル時に、制作中のサイトへ付けたnoindexを外し忘れる例です。公開後しばらくして、重要ページが検索結果から消えて気づくことになります。

      CSSやJavaScriptをブロックしてしまう

      Googleは、ページの理解に必要な画像・スクリプト・スタイルのファイルはブロックしないよう注意しています。これらを止めると、Googleがページを正しく分析できなくなるおそれがあります。

      robots.txtがエラーを返している

      robots.txtにアクセスしたとき、サーバーエラー(5xx)が返ると、Googleは最初の12時間はサイトのクロールを止めます。一方、404などの4xxエラー(429を除く)の場合は、robots.txtがないものとして制限なしで扱われます。

      また、Googleはrobots.txtの内容を通常最大24時間キャッシュ(一時保存)します。修正してもすぐには反映されない点も覚えておきましょう。

      robots.txtとnoindexの設定を確認する方法

      設定後は、Search Consoleで意図どおりに働いているかを確認します。手順は次のとおりです。

      1. ブラウザのシークレットウィンドウで「/robots.txt」を開き、公開されているか確かめる

      2. Search Consoleの「robots.txt」レポートで、Googleが取得した内容とエラーの有無を見る

      3. noindexを付けたページをURL検査ツールで調べ、noindexが検出されているか確認する

      4. 公開したいページが「ページのインデックス登録」レポートでnoindexやrobots.txtを理由に除外されていないか見る

      5. 誤りを直したら、URL検査ツールから再クロールをリクエストする

      Search Consoleのヘルプによると、robots.txtでブロックしているページは、URL検査ツールで「インデックス登録を許可?」が常に「はい」と表示されます。noindexを読み取れないためで、見誤らないよう注意が必要です。

      Search Consoleの基本操作はサーチコンソールの使い方で解説しています。サイト改修のついでに見直す場合は、ホームページ作成の費用相場もあわせてご覧ください。

      robots.txtとnoindexの誤設定を防ぐためのチェックリスト図。robots.txtの確認、noindexの確認、公開・リニューアル時の確認の3グループで、サイト全体の遮断やテスト用設定の残し忘れなどを点検する項目を整理している。

      よくある質問

      robots.txtはすべてのサイトに必要ですか?

      必須ではありません。robots.txtがない場合、Googleは制限なしでクロールします。クロールさせたくない領域がない小規模なサイトなら、なくても問題ありません。サイトマップの場所を伝えるために置くのはよい方法です。

      robots.txtでブロックすれば検索結果から消えますか?

      消えるとは限りません。Googleは、ブロックしたURLでも他サイトからリンクされていれば、説明文なしで表示されることがあるとしています。確実に外したい場合は、クロールを許可したうえでnoindexを使ってください。

      noindexを付けたのに検索結果に残っています。

      Googleがまだそのページを再クロールしていない可能性が高いです。robots.txtでブロックしていないかを確認し、URL検査ツールから再クロールをリクエストしましょう。急いで消したい場合は、Search Consoleの削除に関する機能も検討します。

      robots.txtで悪意のあるクローラーを防げますか?

      防げません。robots.txtは行儀のよいクローラーが自主的に従うもので、強制力はありません。見られたくない情報は、パスワード保護などで守る必要があります。

      noindexを付けたページは、サイトの評価に悪影響がありますか?

      お礼ページや検索結果ページなど、検索から来ても役に立たないページにnoindexを付けることは一般的な運用です。ただし、公開したい重要ページに誤って付けていないかは定期的に確認しましょう。

      まとめ:robots.txtとnoindexは目的で使い分ける

      • robots.txtはクロールを、noindexはインデックス(検索結果への登録)を制御する

      • 検索結果から外したいページは、robots.txtでブロックせずにnoindexを使う

      • robots.txtはルートに1つ置き、大文字小文字の区別やワイルドカードのルールに注意する

      • サイト全体のブロック、テスト用noindexの残し忘れなど、1行の誤設定が大きなトラブルにつながる

      • 設定後はSearch Consoleで確認する。SEO全体の進め方は中小企業のためのSEO対策で解説しています

      SEO対策のご相談はJIMOTOの外付けマーケチームへ

      マーケティング代行「JIMOTOの外付けマーケチーム」は、SEOの内部対策・記事制作・効果測定を含め、戦略から実行まで専門チームがまとめて引き受ける総合型のマーケティング代行です。テクニカルな設定の確認から記事づくり、数字の振り返りまで、社内に専任者がいなくても進められます。

      • 採用・教育は不要。相談から稼働開始まで1か月未満

      • 戦略立案から実行まで一貫体制

      • 稼働を15分単位で記録して毎週開示。使い切らなかった分は翌月に繰り越し

      • 月額30万円から(税別)

      → 料金プランや支援内容を見る(マーケティング代行サービスページ)

      → サービス資料をダウンロードする

      → 無料で相談する(お問い合わせフォーム)

      記事監修

      株式会社JIMOTO Marketing Share Bureau
      代表取締役 鶴 智之(プロフィール)

      キャリアを通してBtoBマーケティングのクライアントワークに従事。前職では株式会社Resorzの取締役を務め、海外ビジネス支援事業にも携わる。200社以上のマーケティング支援実績と、多数の自治体案件のPM経験を持つ。「マーケティングで地域を元気に」をモットーに、地域企業の成長を支援している。

      参考文献

      出典

      参照した内容

      Google 検索セントラル「robots.txt の概要とガイド」

      robots.txtの目的と制限、ページを非表示にする手段ではないこと

      Google 検索セントラル「robots.txt ファイルを作成して送信する」

      ファイルの置き場所と形式、ルールの書き方、記述例

      Google 検索セントラル「Google による robots.txt の仕様の解釈」

      キャッシュ期間、エラー時の扱い、サイズ上限、ルールの優先順位

      Google 検索セントラル「noindex を使用して検索インデックス登録をブロックする」

      noindexの指定方法、robots.txtと併用しない理由、反映までの時間

      Search Console ヘルプ「URL 検査ツール」

      robots.txtでブロックした場合の表示に関する注意点

      マーケティングを地域に。

      当社が関わるマーケティングイベントをご案内。

      イベント一覧を見る

      マーケティングを企業に。

      無料でマーケティングのノウハウが手に入る!

      資料一覧を見る

      KEYWORD

      キーワードから探す

      Results for

      :

      ホーム

      >

      JIMOTO STUDY

      >

      robots.txtとは?noindexとの違い・書き方と使い分けを解説