メディアやブログでは、記事そのもののほかに、タグ一覧・カテゴリ一覧・著者ページ・日付アーカイブ・サイト内検索・印刷用ページなど、自動で作られるページが記事の数だけ増えていきます。robots.txt(クローラーに取得してよいURLを伝えるファイル)で、これらをどこまで止めるかを決めます。
国内のニュースサイトやWebメディアのrobots.txtを比べると、タグ一覧を止める媒体もあれば、テーマページとして育てている媒体もあり、方針は一つではありません。
本記事では、GoogleのURL構造・正規化・クローラーのドキュメントをもとに、メディア・ブログのrobots.txtで止めるもの・止めないもの、判断が分かれる条件、記述例を解説します。
この記事の結論
- 止めるのはサイト内検索・プレビュー・印刷用・コメント欄の別URL。記事と画像は止めない
- タグ・著者・日付アーカイブは一律に止めず、記事数と固有の説明があるかで判断する
- 計測パラメータ付きURLは、止めるよりcanonicalで正規URLにまとめる方法がある
- Googlebot-Newsなどの個別グループを作るなら、共通のルールも書き写す
- 記事数・タグの育て方・収益モデルで、サイトによって最適な設定は変わる
メディア・ブログのrobots.txtで決めること
メディア・ブログのrobots.txtで決めることは、記事以外に自動で増えるページをどうするかです。記事本文と記事の画像は、検索からの入口なので止めません。
自動で増えるページには、性質の違う2種類があります。1つは、サイト内検索の結果やプレビューのように、検索結果に出す意味がなく、URLだけが増えていくページです。もう1つは、タグ一覧や著者ページのように、育て方しだいで検索の入口にもなるページです。前者は止め、後者は媒体ごとに判断します。
| ページの種類 | 基本の扱い | 判断が分かれる点 |
|---|---|---|
| 記事本文・記事の画像 | 止めない | なし |
| カテゴリ一覧 | 止めない | なし |
| タグ一覧 | 媒体ごとに判断 | 記事数と固有の説明 |
| 著者ページ | 開ける媒体が多い | 投稿者の数 |
| 日付アーカイブ | 媒体ごとに判断 | ほかの一覧との重複 |
| サイト内検索・プレビュー | 止める | なし |
| 印刷用・コメント欄の別URL | 止める | なし |
同じメディアでも設定はこれだけ違う
ニュースサイト・Webメディア・ブログサービスでは、自動で増えるページへの考え方がそれぞれ違います。
タグ一覧を止める媒体と、テーマページとして開ける媒体
テック系やライフスタイル系の一部のWebメディアでは、タグ一覧のディレクトリをrobots.txtで止めています。一方、経済系のWebメディアでは、タグ・著者ページを止めず、サイト内検索・印刷・プレビューだけを止めている例があります。また、Disallowの行を1つも書かず、すべてを開けている大手のIT系メディアもあります。
この違いは、タグを「編集されたテーマページ」として育てているか、「自動で増える薄い一覧」とみなしているかの違いと考えられます。
投稿サービスは付属ページを強く絞る
利用者が多いブログサービスや投稿サービスでは、1つのブログ・1人のクリエイターに付随するページが膨大になります。サービス側のrobots.txtで、ブログのページ送り・日別アーカイブ・画像一覧・コメント・読者やフォロワーの一覧・プレビューなどを止め、記事と記事一覧だけを開けているケースもあります。
報道機関は検索エンジン以外への方針が分かれる
大手の報道機関のrobots.txtでは、AIのクローラーへの方針がはっきり分かれています。学習用だけでなく検索用やユーザーの操作で動くAIのクローラーまで止める例、学習用だけを止めて検索用は*のルールに任せる例、ニュース記事のディレクトリだけを一部の制御用トークンに開ける例などがあります。配信契約や著作権の方針の違いで、技術的な正解はありません。書き方はAIクローラー対策のrobots.txtで解説しています。
タグ・カテゴリ・著者・日付アーカイブを止めるかどうかの判断基準
タグページや日付アーカイブを「止めるべき」とするGoogleの明文はありません。止めるかどうかは、次の3つの基準で媒体ごとに判断します。
- 記事数:そのタグや著者に、一覧として成り立つだけの記事があるか。
- 固有の説明:説明文や編集した並びなど、そのページにしかない情報があるか。
- ほかの一覧との重複:カテゴリ一覧や別のタグと、ほとんど同じ記事が並んでいないか。
タグページ
記事数が十分にあり、説明文や編集した並びがあるタグは、特集ページとして開けて集客に使えます。記事が1〜2本しかないタグが大量にある場合は、robots.txtで止めるより先に、タグを整理して作りすぎないようにする方が根本的な対処になります。
著者ページ
著者ページは、書き手の経歴や専門分野を示すプロフィールとして開けている媒体が多いページです。投稿者が数千人いる投稿サービスでは、付随するフォロワー一覧などを止める判断もあります。
日付アーカイブ
ニュースサイトでは、日付アーカイブが記事の発見経路として役立つことがあります。一方、更新頻度の低いブログでは、中身がカテゴリ一覧と重なりやすくなります。投稿サービスの中には日別アーカイブを止めている例もあります。
記事一覧のページ送り
記事一覧のページ送りは、過去の記事を見つけてもらう経路なので、基本は開けておきます。記事をサイトマップで漏れなく渡していて、ページ送りが数千ページになる規模なら、上限を設ける方法もあります。
タグ・アーカイブを止めるときの注意
- すでに検索結果に出ているタグページは、先にnoindexで外し、外れてからrobots.txtで止めます。robots.txtで止めるとnoindexが読まれません。
- タグ一覧からしかたどれない記事があると、止めたときに見つかりにくくなります。記事はサイトマップとカテゴリ一覧からたどれるようにしておきます。
サイト内検索・印刷・プレビュー・コメント欄を止める
サイト内検索の結果ページは、入力された語の数だけURLが作られます。GoogleはURL構造のドキュメントで、検索結果を生成する動的なURLのように無限の空間を生むURLは、robots.txtでのブロックを検討するよう案内しています。メディアの規模にかかわらず止める対象です。
公開前の記事を確認するプレビュー、印刷用のページ、記事ごとに別URLで作られるコメント欄は、記事本文と中身が重なるか、公開する必要がないページです。大手のニュースサイトでも、印刷・プレビュー・検索を止める行は広く使われています。
| ページ | 止める理由 | 書き方の例 |
|---|---|---|
| サイト内検索 | 語の数だけURLが増える | Disallow: /search |
| プレビュー | 公開前の記事 | Disallow: /*?*preview= |
| 印刷用 | 本文と重複 | Disallow: /*/print/ |
| コメント欄の別URL | 本文と重複 | Disallow: /*/comments/ |
プレビューは、robots.txtで止めるだけでは中身を守れません。robots.txtは誰でも読めるファイルで、従わないクローラーもあります。公開前の記事は、ログインなどで保護したうえで止めます。
サイト内検索のURLの形は、CMSやテーマによって違います。/search/のようなパスで作られる場合もあれば、?s=のようなパラメータで作られる場合もあります。実際に検索してみて、表示されたURLの形に合わせて行を書きます。
AMPページのように、正規のページと内容が同じでcanonicalで正規化できているものは、クロールさせても問題ありません。
計測パラメータ付きURLはrobots.txtで止めるべきか
SNSやメールマガジンから記事にリンクするときに付けるutm_source=などの計測パラメータは、同じ記事に別のURLを作ります。これをrobots.txtで止めている媒体もあります。
ただし、Googleは「正規化の目的でrobots.txtを使わない」と明記しています。robots.txtで止めたURLは、中身が読まれないままURLだけインデックスされることがあり、canonicalも読まれません。外部から計測パラメータ付きのURLでリンクされることが多い媒体では、止めずにcanonicalで正規のURLへまとめる方が、リンクの評価をまとめやすいと考えられます。
それでも計測パラメータ付きのURLが大量にクロールされて困る場合は、すべてのパラメータを止めるのではなく、問題になっているパラメータだけを名前で指定します。一部のWebメディアでも、特定の計測パラメータだけを止める書き方もあります。Disallow: /*?のように一括で止めると、ページ送りやプレビューの判定に使うパラメータまで巻き込むため避けます。
User-agent: *
# 問題になっている計測パラメータだけを名前で止める
Disallow: /*?*fbclid=黄色の部分は、自社の情報に置き換えてください。
- 外部から計測付きURLでリンクされることが多い:止めずにcanonicalで正規のURLにまとめる。
- 内部リンクにパラメータが大量に付いている:robots.txtより先に、内部リンクからパラメータを外す。
- 特定のパラメータのクロールが問題になっている:そのパラメータだけを名前で止める。
ブログサービス(note・はてなブログ・アメブロ)を使っている場合
note、はてなブログ、アメーバブログなどのブログサービスを使っている場合、利用者はrobots.txtを編集できません。robots.txtはサービス側が管理していて、付属ページの多くはサービス側ですでに止められています。
特定の記事を検索結果に出したくないときは、robots.txtではなく、各サービスの公開範囲の設定や検索エンジン向けの設定を使います。独自ドメインで運用していても、robots.txtを編集できるかどうかはサービスの仕様しだいです。
WordPressなどで自分のサーバーにメディアを置いている場合は、robots.txtを自由に書けます。WordPress固有の書き方や編集方法は、WordPressのrobots.txtで解説しています。
Googleニュース・画像・広告のクローラーの個別指定
メディアでは、Googleのニュース・画像・広告のクローラーを個別に指定したい場面があります。それぞれ、何に影響するかと、*のルールとの関係が違います。
| クローラー | 影響する範囲 | *との関係 |
|---|---|---|
| Googlebot-News | Googleニュース | 個別グループがなければGooglebotに従う |
| Googlebot-Image | 画像検索・Discoverなど | 個別グループがなければGooglebotに従う |
| Mediapartners-Google | AdSense・Ad Manager | *を無視する |
Googlebot-Newsは、Googleニュースへの掲載だけを制御するトークンです。PR記事などをGoogleニュースに出したくない場合は、Googlebot-Newsのグループでそのディレクトリを止めます。ウェブ検索には影響しません。
Googlebot-Imageを止めると、画像検索だけでなく、Discoverなど画像を表示する検索機能にも影響します。記事の画像のディレクトリは止めないようにします。
Mediapartners-Googleは、AdSenseの広告を配信するためのクローラーで、*のルールを読みません。*でページを止めていても広告の確認には影響しない一方、止めたい場合は個別に書く必要があります。一部のWebメディアでは、意図を明記するためにMediapartners-Googleを明示的にAllowしています。
個別グループを作るときは共通のルールを書き写す
クローラーは、自分に最も具体的に一致するグループを1つだけ使い、*のグループとは統合しません。Googlebot-Newsのグループを作ると、Googlebot-Newsは*のルールを読まなくなります。大手の放送局のサイトでは、Googlebot・Googlebot-News・Googlebot-Image・Googlebot-Videoの各グループに同じ行を書いている例があります。逆に、Googlebot用のグループに*の行を書き写していないため、検索結果ページのDisallowがGooglebotに効いていない形になっている例もあります。意図したものかは外からは判断できませんが、個別のグループを足すときは、共通のルールが外れないか必ず確かめます。
メディア・ブログのrobots.txtの記述例
タグ・著者ページを育てるWebメディアと、タグを検索に使わない小規模メディアの2つの記述例を示します。パスは自社のURLに合わせて置き換えてください。
Webメディア(タグ・著者ページを開け、検索・プレビュー・印刷を止める)
User-agent: *
Disallow: /search
Disallow: /preview/
Disallow: /*?*preview=
Disallow: /*/print/
Disallow: /*/comments/
User-agent: Googlebot-News
Disallow: /search
Disallow: /preview/
Disallow: /*?*preview=
Disallow: /*/print/
Disallow: /*/comments/
Disallow: /sponsored/
Sitemap: https://media.example.jp/sitemap_index.xml
Sitemap: https://media.example.jp/news-sitemap.xml黄色の部分は、自社の情報に置き換えてください。
Googlebot-Newsは個別のグループがあると*を読まないため、共通のルールを書き写したうえで、PR記事のディレクトリを外しています。
小規模メディア(タグ・著者・日付の一覧を検索に出さない)
User-agent: *
Disallow: /search
Disallow: /tag/
Disallow: /author/
Disallow: /date/
Disallow: /*?*preview=
Sitemap: https://blog.example.jp/sitemap.xml黄色の部分は、自社の情報に置き換えてください。
すでにタグページが検索結果に出ている場合は、先にnoindexで外してから止めます。
判断が逆転するケース
メディア・ブログのrobots.txtは、サイトによって最適な設定が変わります。次の条件では、上の例と違う判断になります。
- 記事数が多く、説明文のあるタグを育てている:タグは止めずにテーマページとして開ける。
- 記事が1〜2本のタグが大量にある:止めるより先にタグを整理する。
- ニュースサイトで日付アーカイブが発見経路になっている:日付アーカイブは開ける。
- 計測パラメータ付きURLで外部からリンクされる:止めずにcanonicalでまとめる。
記事や画像が止まっていないか、Googlebot-NewsやAIクローラーにどのグループが効くかは、チェックツールで確認できます。
CHECKrobots.txtチェックツールURLを入れるだけで、Googlebot・AIクローラーごとの許可/ブロック、書き間違い、noindexとの食い違いを無料で判定します。無料でチェックする →よくある質問
- Qタグページは止めた方がSEOに良いですか?
- A
一律ではありません。記事数と固有の説明があるタグは、テーマページとして集客に使えます。記事の少ないタグが大量にあるなら、止めるより整理が先です。
- Qnoteやはてなブログで特定の記事を検索に出さないには?
- A
robots.txtは編集できないため、各サービスの公開範囲の設定や検索エンジン向けの設定を使います。
- QGoogleニュースにだけ出したくない記事がある場合は?
- A
Googlebot-Newsのグループで、その記事のディレクトリを止めます。ウェブ検索には影響しません。グループには共通のルールも書き写します。
- Qサイト内検索の結果ページは止めた方がよいですか?
- A
止めます。検索語の数だけURLが増え、Googleも無限の空間を生むURLとしてrobots.txtでのブロックを検討するよう案内しています。
- QAdSenseの広告に影響しないか心配です。
- A
AdSenseのクローラー(Mediapartners-Google)は
*のルールを読まないため、*で止めたページでも広告の確認には影響しません。
運営会社について
SEO・AIO専門の株式会社Pifteeが運営しています
サイトの技術的な土台づくりから、ChatGPTやGoogleのAIの回答で紹介・引用されるための対策まで、提案だけで終わらせず実装まで一緒に進めます。
- 10年以上SEO業界の経験
- 100社超累計の支援実績
- 一気通貫戦略から実装まで対応

