PIA
SEO対策20年
株式会社PIA
  • 更新日:2024.11.01
  • 投稿日:2024.11.01

Googleのクローラビリティとは?向上させる方法を解説!

Googleのクローラビリティとは?向上させる方法を解説!
SEO対策に関連した言葉に「クローラビリティ」がありますが、あまり馴染みのない言葉かもしれません。

そこで今回の記事では、クローラビリティの意味から改善させるための対策などを解説します。クローラビリティはSEO対策の基本中の基本です。
SEO対策を担っているWeb担当者の方にとっても非常に重要な概念となりますから、記事の内容をよく確認してください。
そのうえで適切な指示を出し、効果的な対策を行いましょう。

クローラビリティとは何ですか?

クローラビリティの意味や概要をご存じない方のために解説します。

クロールとクローラーについて

クローラビリティの意味を知るうえで、最初に押さえておきたいのが「クロール」と「クローラー」という言葉です。

クロールというのは、Googleなどの検索エンジンがWeb上のページを発見することです。Web上には世界中に無数の情報(Webサイト・画像・PDF・HTML文書など)が存在しますが、その中を巡回し・探索し、発見することを意味します。

そして、クローラーはその作業を行うロボットやプログラムのことです。

自社のWebサイトが検索エンジンの検索結果に表示されるためには、クローラーの巡回で認識してもらう必要があります。

GoogleのクローラーはGooglebot

検索エンジンごとにクローラーがあるのですが、Googleの場合はGooglebotという名称です。Googlebotには次のような種類があります。

  • ・スマートフォン用Googlebot
  • ・パソコン用Googlebot
  • ・画像用Googlebot
  • ・ニュース用Googlebot
  • ・動画用Googlebot
  • ・Google Storebot など

クローラビリティについて

「クロール」と「クローラー」の意味が分かれば、クローラビリティの意味も理解しやすくなります。クローラビリティは、クローラーから見たWebページやWebサイトのクロールのしやすさ、つまり見やすいか、認識しやすいかということです。

クローラーは世界中のWebページやWebサイトを巡回しているので、自社でWebページやWebサイトを作成したとしても、すぐに発見されるわけではありません。もしそのまま発見されないと、たとえ良いコンテンツを作成しても、検索結果に表示されず、ユーザーに閲覧してもらえないのです。

そのため、クローラビリティを向上させて、できるだけ早くクローラーに自社のWebページやWebサイトを見つけてもらう必要があります。

クローラビリティの重要性

クローラビリティがなぜ重要なのかを説明します。

Web上のすべてのページは巡回できない

クローラーがWebページやWebサイトを巡回すると言っても、世界中に存在するページは無限とも言えます。そのすべてのページを巡回することは現実には不可能です。全URLをデータベースに保持できないのです。

そのため、クローラーは価値のあるモノだけを判断して、発見しようとします。

そこで重要になってくるのがクローラビリティです。クローラビリティの高いページなら、クローラーに認識されやすくなって、検索結果に表示されやすくなります。

クローラビリティが高いページは使いやすいページ

クローラビリティが高いWebページやWebサイトは使いやすいページとも言えます。ユーザーにとってユーザビリティに優れ、アクセスしやすいページですから、閲覧率も高まります。

クローラビリティが低いと、WebページやWebサイトが表示されないこともある

クローラビリティの低いWebページやWebサイトは、クローラーが認識しにくくなり、検索順位が下がるだけでなく、検索結果に表示さえされなくなることがあります。

検索結果に表示されないWebページやWebサイトでは、ユーザーが閲覧できません。そのようなWebページやWebサイトを作成しても意味がないでしょう。

それだけ、クローラビリティは重要なのです。

クローラビリティを向上させるには、どうしたらいい?

クローラビリティの重要性はお分かりになったでしょうが、そこで課題になるのがいかにクローラビリティを向上させるかです。そのための具体的な方法をご紹介しましょう。

①クローラーが認識しやすいページを作る

WebページやWebサイトを作る場合、クローラーが認識しやすくすることでクローラビリティの向上が期待できます。

一般ユーザーが見るWebページやWebサイトの見方とクローラーが見る見方は違います。一般ユーザーから見て見やすいページであっても、クローラーがクロールしにくいページではクローラビリティは上がりません。

そこでポイントになるのが次のようなことです。

  • ・競合上位サイトの情報を参考にする(タイトル名やコンテンツ内容など)
  • ・タイトル名にSEOキーワードを盛り込む
  • ・ユーザーが求める情報の量(網羅性/包括性)を考慮する
  • ・手を入れやすい簡便なページを作成する
  • ・ページの信憑性を高める
  • ・独自性を加味する
  • ・定期的な更新をする
  • ・テキスト中心のコンテンツ作成
  • ・適切なHTMLタグや構造化データによるマークアップ

このような点に注意すると、クローラーに注目されやすくなります。その結果、クローラビリティが高まって、検索結果で上位表示されやすくなります。

②URLをシンプルにする

長くて複雑なURLよりもシンプルなURLになっているWebページやWebサイトの方がクローラビリティが高まります。

例えば、SEOに関する記事を執筆する場合に、正式名称の「search-engine-optimization」をURLに使うよりも、略称の「seo」にした方がクローラーの認識率が良くなります。

③Google Search Consoleからクロールをリクエストする

Google Search Console(サーチコンソール)からWebページやWebサイトのクロールをリクエストすることでも、クローラビリティの向上が期待できます。一時的ではありますが、クローラビリティが高まり、WebページやWebサイトが検索結果の上位に表示されるまでの時間が短縮化されることがあります。

ただし、すぐに表示されるとは限りませんから、絶対ではありません。

やり方は、URL 検査ツールを使用します。

  1. 01.Google Search Consoleにログインする
  2. 02.メニュー欄の[URL検査]をクリックする
  3. 03.画面上の検索ボックスに新規コンテンツのURLを入力する
  4. 04.[URLがGoogleに登録されていません]と表示される
  5. 05.[インデックス登録をリクエスト]をクリックする

④Google Search ConsoleからXMLサイトマップを送信する

同じくGoogle Search Console(サーチコンソール)を使う方法になりますが、XMLサイトマップを送信すると、WebページやWebサイトのクローラビリティ向上に役立ちます。

XMLサイトマップとは、検索エンジンにWebページやWebサイトの認識を促すためのファイルです。各ページ情報(URLや優先度、最終更新日、更新頻度などの情報)を検索エンジン向けに記載してあります。

XMLサイトマップをGoogle Search ConsoleからGoogleに登録すると、自社WebページやWebサイトのコンテンツをクローラーに迅速かつ効率よく伝えられるようになります。その結果、クローラビリティが向上し、WebページやWebサイトが検索順位で上位表示されやすくなるのです。

XMLサイトマップの作成方法はいくつかあります。

まず、自動生成ツールを使う方法です。「sitemap.xml Editor」のような自動生成ツールでかんたんに作成できます。手順を見てみましょう。

  1. 01.「sitemap.xml Editor」にアクセスする
  2. 02.WebページやWebサイトのURLを入力する
  3. 03.サイトの更新頻度や優先度の自動設定を選択する
  4. 04.[サイトマップ作成]ボタンをクリックする

次はWordPressで作成する方法。無料プラグインの「XML Sitemaps(Google XML Sitemaps)」をインストールして有効化しておけば、かんたんにXMLサイトマップを作成できます。Googleへの更新通知まで自動で行ってくれます。手順を見てみましょう。

  1. 01.画面左メニューにある[XML Sitemaps]をクリックする
  2. 02.[Additional Pages]の[新しいページの追加]をクリックする
  3. 03.登録したいページのURL・優先順位や更新頻度の設定・最終更新日などを記入する
  4. 04.[設定を更新]ボタンをクリックする

Google Search ConsoleからXMLサイトマップを送信する手順は以下の通りです。

  1. 01.Google Search Consoleにログインする
  2. 02.左側メニューの[サイトマップ]をクリックする
  3. 03.[新しいサイトマップの追加]を選択する
  4. 04.XMLサイトマップのURLを入力する

⑤重複ページをなくす

重複ページをなくすことはクローラビリティ向上で大切な要素です。

例えば、URLでwwwの有無だけが違い、同じコンテンツのページがあったとします。すると、クローラーは無駄なエネルギーを消費しながら、WebページやWebサイトを探そうとしますが、これは効率が良くありません。

このようなWebページやWebサイトを1つにまとめることで、クローラーの浪費が減り、認識率が上がります。

⑥内部リンクの設置

内部リンクの設置の仕方によってクローラビリティが変わってきます。

最適な内部リンクを設置できると、ユーザーも必要な情報にアクセスしやすくなってユーザビリティが高まりますが、これはクローラーにとっても同じです。

ただし、設置の仕方がポイントになります。次のような点を意識して設置してみましょう。

  • ・WebページやWebサイトに関連性の高いコンテンツへの内部リンクを設置する
  • ・アンカーテキストはユーザーが理解しやすいモノにする

関連性の低いコンテンツの内部リンクを設置しても、ユーザーは興味を示さないでしょうし、検索エンジンの評価も下がり、クローラビリティも低下します。

アンカーテキスト(リンク名)を設置する際は、URLや画像よりも記事タイトルにする方が分かりやすいです。「タグ」で設置してみましょう。

⑦パンくずリストを設定する

パンくずリストとは、WebページやWebサイトを閲覧しているユーザーが現在どのページを見ているのか立ち位置を示す表示です。パンくずリストは「>」や「/」などを用いて表示され、多くの場合、ヘッダーの下部に掲載されます。

パンくずリストはユーザーの検索位置を確認しやすくするモノですが、これはクローラーにも当てはまります。クローラーもパンくずリストを参照するのです。

そのため、パンくずリストを設定すれば、クローラーに発見されやすくなり、クローラビリティの向上に貢献するでしょう。

ただ、次のポイントに注意しながら設定しましょう。

  • ・パンくずリストの階層は適切に分ける
  • ・各リストは簡潔に記載する
  • ・パンくずリストの項目をリンク化する

⑧正しいHTTPステータスコードを返す

HTTPステータスコードとは、Webサーバーからのレスポンス状況を表す3桁の数字コードです。

クローラーに正しいHTTPステータスコードを返すことがクローラビリティの向上に繋がります。

HTTPステータスコードの具体例をいくつか見てみましょう。

コード 内容 結果
200 リクエストが成功したことを表す PCやスマホの画面で正しくサイトが閲覧できる
301 サーバーは完全に引越した リクエストされたURLが変更されている状態同時に新しいURLへの誘導も返される
404 Not Found(未検出)サーバーがリクエストされたリソースを発見できないことを表す 「指定されたページは存在しません」などのエラーページが表示される

クローラーはHTTPステータスコードでWebページやWebサイトの状態を判断します。ここで適切なコードが返されないと、様々な問題が生じます。

削除済みのWebページやWebサイトが「404」と表示されればいいのですが、もし「200」などと表示された場合はどうでしょうか。すると、いくつか困ることがあります。

  • ・低品質のコンテンツだと認識されてしまう
  • ・クローラーが無駄な時間を浪費する
  • ・本当に訪れてほしい大切なWebページやWebサイトを訪れる頻度が減る

結果として、クローラビリティの低下を招きますから、正しいHTTPステータスコードを返すようにしなければいけません。

⑨優良な被リンクを獲得する

被リンクとは、外部のWebサイトやページに自社ページのリンクを貼ってもらうことです。優良な被リンクを獲得できれば、クローラビリティの向上に大いに役立ちます。

クローラーはリンクをたどってWebページやWebサイトを探そうとするので、被リンクのあり方次第で自社WebページやWebサイトが発見されやすくなります。

ただし、被リンクの数が問題なのではなく、質が大事です。次のような被リンクでは、クローラビリティの向上に繋がりません。

  • ・WebページやWebサイト同士の関連性が薄い被リンク
  • ・低品質なコンテンツからの被リンク
  • ・金銭を支払って獲得した被リンク
  • ・過剰に行われた相互の被リンク

被リンクがクローラーから高い評価をされたWebサイトやWebページやWebサイトのモノからであれば、クローラビリティ向上が期待できます。

クローラーが巡回しているか確かめる方法

クローラビリティ向上のための対策を講じたあとは、本当にクローラーが巡回に来ているか確かめたくなるでしょう。そこでその方法を紹介します。

「site:」検索を使う

「site:」検索を使うと、自社のWebページやWebサイトにクローラーが巡回しにきているか確認できます。

方法は、「site:」のあとに確認したいWebページやWebサイトのURLを入力することです。ここで該当のWebページやWebサイトが表示がされるようなら、クローラーによる巡回が正常に行われたことになります。

ただし、結果が表示されるまで数日掛かります。しばらく様子を見なければいけませんが、数週間経っても結果の表示がなければ、クローラ-巡回が行われていない可能性が高いです。

Google Search Consoleのクロール統計情報で確認する

Google Search Consoleのクロール統計情報を使うと、自社WebページやWebサイトのクロール状況を確認できます。

やり方は、Google Search Consoleにログインし、左メニューの[クロールの統計情報]をクリックすることです。すると、次のような結果が表示されます。

  • ・1日あたりにクロールされたページ数:多い方が好ましい
  • ・1日にダウンロードされるキロバイト(KB)数:多い方が好ましい/li>
  • ・ページのダウンロード時間(ミリ秒):少ない方が好ましい

まとめ

今回の記事では、Googleのクローラビリティについて説明しました。

クローラビリティはWebページやWebサイトを巡回するクローラから見た見やすさ、認識のしやすさのことです。クローラビリティが高いと、クローラーに発見されやすくなって、検索結果の上位に表示されやすくなります。

そのため、クローラビリティはSEO対策において非常に重要な要素ですから、記事の内容も参考にしながら向上に努めて下さい。

この記事のタグ

この記事の監修者

おすすめの記事はこちら