- SEO対策の基礎用語について、自分で調べていたら、「クローラー」という記載があったけど何のこと？
- クローラーが巡回しないサイトってあるの？
- クローラーに巡回されないようにする方法はあるの？
こんなお悩みがありましたら、株式会社クロコにご相談ください。
今回の記事では、Webクローラーの意味や仕組みについてわかりやすく解説します。
Webクローラーとは？意味や仕組み
Webクローラーとは、別の言い方では、bot（読み方：ボット）と呼ばれています。
クローラーとは、検索エンジンが検索の順位を決めるための要素をサイトやページを巡回しながら収集してくる仕組みのことです。
この時、巡回しているのが、Googleであれば、Googlebot、Yahoo!であれば、Yahoo!botと呼ばれています。
クローラーの仕組み
クローラーは、既にデータベース化されているWebサイト内をリンクをたどって自動的に移動していきます。
移動先でのページの解析を行っています。
以下のようなファイルが対象となります。
- HTML、CSS
- テキストファイル
- JavaScriptファイル
- 画像
- PDFファイル
- 動画ファイル
などがあります。
クローラーが巡回されない？
新規ホームページ制作を外部に依頼して完成したのに、検索結果に出てこない！
こんな時には、確認しておくべき情報があります。
それは、インデックスです。
Googleにクロールされないように方法もありますので、注意が必要です。
クローラーに検索されやすくする方法
コラム記事や公式サイトを公開したら、1分でも早く検索結果に表示させたいですよね。
ではどうすればいいのかをご紹介します。
Googleにクロールをリクエストする
Googleの場合には、クローラーの巡回をリクエストする機能がなわっています。
具体的には、「Google Search Console」を利用します。
- Google Search Consoleにログインをする
- 左上のメニューを開く
- インデックス作成の下にある「ページ」をクリックする
- 「URL」内のすべてのURLを検査と書かれている虫眼鏡のマークがついた場所に、クロールさせたいURLを入力する
- インデックス登録をリクエストするをクリックする
1～5の操作が完了してから、1週間～10日前後経過したら、再度1～4を実践しましょう。
結果として、下の画像のように「URLはすでにGoogleに登録されています」と表示されていたら、正常に終了しております。
クローラーの巡回が失敗した時の対処法
リクエスト処理をしたのにうまくいかない。
こんな時には、以下の内容を確認しましょう。
重複コンテンツの確認
重複コンテンツとは、タイトルが異なる場合でも中身の主旨は同じであることや「www」の有無のみが異なるなどの類似するページのことをいいます。
複数似た内容が記載されているページが存在する場合には、1つに絞るようにしましょう。
URLの階層を深くしない
URLには、「○○.com」から始まり、「○○.com/category」「○○.com/category/001」など、どんどん後ろに「/」がついているページがあります。
この時、一番最初の「.com」が第一階層となります。
「/」が多い場合には注意が必要です。
理想を言えば、「○○.com/category/001」のように、3層目までにしておくことをおすすめします。
bなぜなら、4階層目になると、トップページまで2回以上クリックしなければ到達できなくなってしまうからです。
リンクは画像を使わない
リンクとは、ユーザーが訪問したページから、別のURLに飛ばすための方法です。
リンクには、画像とテキストの2つの方法があります。
しかし、画像をクリックさせるよりも、テキストでリンクしたほうがユーザビリティが向上すると言われています。
つまり、画像を多く使うようなサイトやコラムの記事でも、リンクはあえて全てテキストを使用することをおすすめします。
クローラーの巡回率が悪い場合の対処法
公式サイトとその他の複数のサイトを保有する企業も増えてきました。
しかし、クローラーの巡回率は全て同じとは言えません。
クローラーのアルゴリズムも不定期に変更されています。
つまり、昔作った後にそのまま放置するのは、危険です。
心配な方は、専門業者に相談しましょう。
クローラーが巡回しない原因
クローラーがなかなか訪れてくれない原因は、いくつかありますが、更新頻度が低いページほど巡回率は低下します。
簡単に言えば、長期間にわたって放置されている変化のないページは巡回頻度が減っていきます。
一般的には、Googleに登録されるまでの時間は、1週間程度と言われていますので、2週間以上経過しているのであれば、原因を調査したほうが良いでしょう。