Webサイトは、クローラーに発見されることで、データベースに格納され、最終的に検索エンジンへ反映されます。
つまり、自サイトをクローラーに伝えることはSEO対策の第一歩であり、クローラーされないことにはWebサイトとしての価値は限りなく低いものになってしまいます。
Webサイトをクローラーに素早く適切に伝えるための手法を見ていきましょう。
クローラーとは
クローラー（Crawler）とは、Googleなどのロボット型検索エンジンがWEB上のファイル（HTML文書だけでなく、画像・PDFまで含む全般）を収集するためのプログラムのことです。
https://www.seohacks.net/basic/terms/crawler/
簡単に言えば、Webサイトを発見するためのロボットで、あちらこちらとWeb上を巡回しています。
検索エンジン反映までの流れ
クロール→インデックス→ランキング
クローラーによって集められたデータがインデックス化され、データベースに格納されます。その後、検索エンジン独自の基準でランキング形式に変更し、検索結果に反映されるようになります。
クローラーがアクセスしやすいサイト設計
Webは、複数の文書が結びついた、ハイパーリンクによって成り立っています。
クローラーは、Webサイト間のリンクを辿って情報を収集するので、リンクを適切に用意することが、サイト設計に繋がります。
リンクには、外部リンクと内部リンクがありますので、それぞれの役割、対策を覚えておきましょう。
外部リンク
外部リンクとは、あるWebサイトのページから、外部の別のサイトのページへのリンクのこと。あるいは、別のサイトからそのサイトへのリンクのこと。
http://e-words.jp/w/外部リンク.html
外部リンクの主な役割は大きく分けて二つあります。
①クローラーの入り口になる
クローラーは、リンクを辿ってWebサイトを巡回するので、外部リンクがなければ、Webサイトを検出することができません。ですので、クロールの入り口として、外部リンクは重要な役割を担うのです。
②評価の指標になる
良質なWebサイトに、外部リンクが多く張られているWebサイトは、検索エンジンからの評価が高まり、クローラーの巡回頻度も向上します。
ただし、むやみやたらに外部リンクを自作したり、質の低いサイトから外部リンクを貼られても効果はないので注意しましょう。
外部リンク対策はこちらの記事を参考にしてください。
内部リンク
内部リンクとは、自分のサイト内を移動できるリンクのことで、記事に貼られたリンクだけでなく、パンくずリストやメニューバーも含まれます。
クローラー対策のWeb設計において、内部リンクは外部リンクと比べ物にならないほど重要なので、しっかり理解しておきましょう。
リンクの主な役割は、外部リンクと同様二つです。
①重要サイトである指標
Google公式からもアナウンスされていますが、Webサイトページ内の、内部リンクの数は、他のサイトとの重要度を比較する上での指標になっています。
ですので、サイトのトップページや、ビッグキーワードで上位を狙いたいページなんかは、内部リンクを集中させると良いですよ。むろん内部リンクの集中してるページはクローラー頻度も向上します。
②サイト内でクローラーの道を作る
外部リンクがクローラーの入り口であったように、クローラーはリンクを辿ってやってくるもので、内部リンクも例外ではありません。
つまり、サイト内に貼られた内部リンクやメニューなどは、クローラーの通り道になるのです。
正しい内部リンクの貼り方
内部リンクを張るときの注意点は、「全てのページに最低一つはリンクを付けること」と「重要なページにリンクを集めること」です。
ピラミッド型のサイトを作ろう
サイト構造は三層以内にするのが好ましいです。
例えば、私のサイトは、「トップページ」→「それぞれのカテゴリー」→「カテゴリーに合った記事」という三層構造になっています。
このように、トップページから、三層以内でぶら下がるサイト作りを意識します。
HPなら、「トップページ」→「それぞれのカテゴリー」の二層構造でも良いですね。
重要なページにリンクを集めよう
内部リンクの集められたサイトは、クローラーの巡回頻度が増え、検索エンジンからも重要なサイトだと判断されます。ただし、肝心のサイト内容が微妙だったり、内部リンクが関連していないと、マイナス評価を受けてしまいます。
内部リンクを集めるときは
- ページ内容に関連する内部リンクを貼る
- 重要なページを作成する段階で、内部リンク先のページ作りも設計視野に入れておく
- リンク切れはないようにする
の三点のを気を付けましょう。
パンくずリストも超重要
パンくずリストとは、サイト利用者が自分の位置を確認できるように、ページを階層順に表示したものになります。
適切に整理されたパンくずリストは、ユーザーが使いやすくなるだけでなく、クロールのとっても巡回しやすいサイトになります。
また、パンくずリストによって、クロールは関連性のある記事を認識できるようになるのです。
適切なパンくずリストの作り方
パンくずリストは、適切にジャンル分けさえできていれば、ほとんど問題ありません。
さらに細かい対策を講じておきたい方は、自分のWebサイトにあったパンくずリストを作りましょう。
SEO対策においてのサイト構造は、全てのページに２クリック以内で行けることが望ましいと言われています。あまり、複雑にしすぎると、クローラーは迷子になり、ユーザーも使いにくくなりますからね。