- 自分でできるSEO対策のやり方を調べている
- クローラーって何だろう
- インデックスされていないと言われたけれどどうすればいいの？
こんなお悩みがありましたら、株式会社クロコにご相談ください。
今回の記事では、SEO対策の基本として「Googleのクローラー」について、わかりやすく解説します。
大規模サイト（ポータルサイト等）では気にする必要はありませんが、クロール頻度や最適化の方法を知っておくことも大切です。
クローラーとは？
「クローラー」とは、ウェブサイトを巡回するロボットを指します。
ただし、ただ巡回しているわけではありません。
クローラーの巡回の意味
クローラーが巡回することで何が起こっているのか？
答えは、「検索順位を決める要素を収集する」という重要な役目を担っています。
つまり、SEOにおいても無視できない存在といえます。
クローラーの仕組み
クロール頻度は、Googleの定義では1秒間あたりのリクエスト数のことです。
クロール頻度は、Googleがサイト単位で自動的に決定しており、サイト側で指定することはできません。
ではどのように、クローラーが巡回する頻度が決まっているのかを知っておきましょう。
クロールバジェット
Googleは、日本のサイトだけを巡回しているわけではありません。
世界中のサイトを巡回しています。
クロールバジェットとは、1つのサイトに対してクロールできる上限数（割り当て枠）のことを言います。
日々多くのWebサイトやWebページが誕生していますので、巡回頻度がサイト単位で決まっていくのです。
クロールは必要なのか？
不要なクロールを避けたいですよね。
つまり、以下の点を重要視しています。
- そのURLは、検索ユーザーにとって役立つ、価値があると言えるのか？
- インターネット上での需要がある、人気があるのか？
- インデックスは新鮮なのか？
- 以前の最終更新日からの時間経過
などが影響しています。
つまり、Webサイト制作後に放置しているようなページは、あまりクロールされないと考えられます。
新規サイトでも価値がないと判断されないような情報であれば、クロールされないと考えられます。
特にページ数が多いサイトの場合は、クロールされる必要性が低いページは削除するなどの対策も必要です。
Googleクロールを確認する方法
確認の操作方法は以下の通りです。
- Googleサーチコンソールにログイン
- 確認したいURLを選択
- 左メニューの中から「設定」を選択
- クロールの統計情報の枠の「レポートを開く」をクリック
【トラブルの原因と対処法】
課題：「レポートを開く」がクリックできない
解決方法：下層に「/blog/」などを用意している場合には、メインURL「https://○○.com」等のメインサイトでのみ確認することができます。
下層のURLでは、クリックができません。
レポートの確認ポイント
上記のようなレポートがでてきますので、Googleがサイトをどのくらいクロールしているのかをまずはグラフでチェックしましょう。
特に、robot.txtやサーバーエラーが起こっていないかどうかを確認することは大切です。
「ホストに問題は起きていません」と表示されている場合にもエラーが全くないとは言い切れません。
Robot.txtは、エラーを続けていると、サイト全体のクロール停止に発展する可能性があります。
よって、200もしく404を返す対応はしておきましょう。
サーバー接続が続く場合には、管理会社などを通じて、エラーの原因を探ってもらうように依頼をしましょう。
サーバーログを確認することで、グーグルからのリクエストやレスポンス等を確認することが可能です。
インデックス状況の確認方法
インデックスは、左メニューから「ページ」をクリックすると閲覧できます。
上記画面と合わせて、サイトマップから送信したURLがインデックスされているのかをチェックしましょう。
サイトマップを送信してから、数時間でインデックスされることもありますし、数日から数週間かかることもあります。
さらに、ツールなどを利用しないとインデックスされない場合には、改善が必要です。
- 最終更新日を付与したサイトマップは送信されているのか？
- 重要なURLがサイトマップに網羅されているのか？
- サイト内の内部リンクが張り巡らされているのか？
上記のような内容を順にチェックする必要があります。
クローラーの頻度を高める方法
クロールの頻度を高めたい！
しかし、一定の頻度の設定そのものを簡単に覆すことは難しいです。
自分たちで確認しておくべきポイントを解説します。
サーバー応答時間を改善する
Googleのクローラーは、サーバーに負荷をかけます。
つまり、負荷がかかっていると認識されてしまうような状態を避けなければいけないのです。
クロールの頻度が低い原因がサーバーにあるとすれば、サーバーを改善することで、クロール頻度が改善する可能性があります。
URLの精査、削除
クロール頻度が低い原因の一つに、低品質コンテンツの量産も考えられます。
Googleがクロールする価値がないと判断されたページが膨大になることは好ましくありません。
つまり、クロールする価値が低いURLは減らすほうが良いのです。
低品質コンテンツを減らすことで、クロールさせたいURLへのクロール頻度が向上する可能性があります。
リダイレクトなどの見直し
もう一つ避けるべき問題があります。
それは、重複コンテンツです。
重複コンテンツとは、複数のWebページに表示されるコンテンツを指します
コンテンツの実質的な部分であることから、非常に類似している可能性がある内容も含まれます。
その他の見直すべきポイント
| URLパラメータ | パラメータの順番などで無用にURLを生成しない |
| 404やindex | クロール頻度に対する影響力は大きいです。 不要ページであれば、ステータスコードを適切に設定しましょう |
| robot.txt | クロールさせたくないURLがあれば、ブロックするようにしましょう。 |
コンテンツの品質を見直す方法
クロールさせたいのに、巡回が遅い。
更新したはずなのに、なかなか反映されない。
こんな状態を放置するのはやめましょう。
重複コンテンツや関連ページ、内部リンクや画像などの追加などやるべきことはたくさんあります。
公開したコンテンツをさまざまな経路を使ってユーザーに届ける前に、まずは自分のサイト内でやるべきことを見つけ出すことが重要です。
SEO対策がうまくいかない方へ
弊社は、コンテンツ型SEO対策を得意としています。
小売店、美容院など地域密着のビジネスを展開している店舗型集客には、コンテンツ型SEOはおすすめです。
サイトの信用度低下につながる行為
よくある間違い行動は、用がなくなったら、すぐに削除するという行為です。
ワンシーズンなど限定商品、過去のイベント企画などの情報は終了したら何に使えばよいのかわからない！
こんなご相談も対応しております。
やむをえない事情がある場合にも、不用意に既存記事を削除するのはもったいないです。
URL1ページは資産にすることができるかもしれません。
自社でオウンドメディアを運営している方へ
これからの時代は、SNS離れに備えたコンテンツ強化が求められます。
2023年の迷惑動画投稿等数年前からじわじわと進んでいるSNS離れの動き。
しかし、情報を知らないままにするのは怖い。
こうした人達が、おふざけ動画を避けるために、もう一度検索エンジンで調べるという動きが始まっています。
こうした動きに合わせて、今一度強化すべきポイントと不要のページを精査したい方もご相談ください。