【21】Googleってどうやって検索しているの? SEOのお話(第二話、クロール編)

こんにちは、商品データベース推進担当のYです!


当社には福利厚生の一環として社内販売の仕組みがございます。
皆さまが提供してくださっている商品を、少しだけお得に購入することができます。



先日、私も社内販売を利用してお得に商品をゲットさせていただきました。
その名も「Zan(ギロチンタイプ)」!!!
https://axel.as-1.co.jp/asone/d/63-1233-04/


ちょっとインパクトの強い商品名ですが、犬・猫ちゃん用の爪切りです(笑)
爪切り大嫌いな我が家の猫ですが、この爪切りに変えてからちょっとだけ大人しく切らせてくれているので、とても助かっています。


爪切りに限らず、素敵な商品をご提供くださっている皆さま。いつもありがとうございます。

画像1.jpg




こちらのマットも社内販売です!
https://axel.as-1.co.jp/asone/d/65-1337-38/





















さて、ここからが本題です。


前回から間があいてしまいましたが、引き続きSEOのお話をさせていただきます。
(前回記事はコチラ!)

WEB検索と言えばGoogle。SEOといえばGoogle様への最適化。そう言っても過言ではありません。

今回は、Googleがどのようにして検索の結果を決めているの?というお話をしたいと思います。
これを知っておくと、SEOでどんなことをするのかの理解が深まると思います。



まずはじめに、Google社はこのように言っています
「Google の使命は、世界中の情報を整理し、世界中の人がアクセスできて使えるようにすることです」
(Our company mission is to organize the world's information and make it universally accessible and useful.)


なるほど、なんだかすごい使命ですが、高いレベルでこれを実現しているGoogleさんはすごいですね。


この使命の中に「世界中の情報」とありますが、いったいどれくらいの情報が世界中に存在しているのでしょうか。
少なくとも2008年のGoogleの発表によると、当時で1兆ページ(10の12乗ページ!)以上のURLが存在しているとのことです。
17年前のコメントなので、現在はさらに0がいくつか追加されているかもしれませんね。


日々当たり前に使っている「検索」ですが(しかも無料で!)、改めて考えてみると
こんなにもたくさん存在するページから、自然と目的のページにたどり着くことができるのって、ある意味では奇跡かもしれないですね。
(AXEL内の検索に関わる筆者としても、驚愕しちゃいます)


ではGoogleはどうやって検索結果を決めているのでしょうか?
超ざっくりした流れがこちらです。


【Googleさんのお仕事】

 ①クロール:
   クローラーというロボットが世界中のページを探しに行きます
 ②インデックス:
   クローラーが見つけたページの内容を理解して、Googleのデータベースに保存します
 ③検索意図の推定:
   どんな人が、どんな目的で検索しているか判定します
 ④ランキング:
   200以上の指標で、ページを評価し順位を決定します
 ⑤最適なページを返す


画像2.jpg



この後これらを、順番に掘り下げていこうと思いますが、
我々のようなWEBページを見てほしい人たちが対処すべきものも、これまたザックリ分けるとこうなります。


【事業者のやること=SEO(検索エンジン最適化)】
 ①テクニカルSEO:Googleさんが探しやすい、読みやすいサイトにする(システム的/構造)
 ②コンテンツSEO:人が読みたくなるページにする(感覚的/内容)
 ③オフページSEO:世間から評価され、信頼されている(外部評価)


これを踏まえて、Googleさんのお仕事の流れを見ていただくと、より理解が深まるかと思います。
長くなりそうなので、何回かに分けてご紹介させていただきます。


①クロール(クローリングとも)

クローラーと呼ばれるロボットが世界中のURLを回遊してWEBページを見つける作業です。

クローラーは、あるWEBページを読み込み、何が書いてあるか把握して、インデックス(次回説明予定)に登録します。
さらにそのページからリンクを見つけて次のURLをたどる、ということを延々と繰り返しているそうです。


なので、あるページにクローラーさんが来てくれたとき、次にどのページを辿ってもらうかを示すために、
上位階層や下位階層、お隣のカテゴリなどをそのページに入れておくことがよいとされています。
(「内部リンクでクローラビリティを確保する」とか言うとカッコいいです)


AXELの場合、例えばビーカーのページの下部には、ビーカーと兄弟関係にあたるカテゴリのリンクを配置して、
より広く、よりたくさんのページをクローラーさんに見てもらえるようにしています。


画像3.png


このようなリンクを人が見ても「なんのために必要なの?」と思ってしまうかもしれませんが、実はSEOのためには重要だったのです。


また、クローラーに対して「うちのサイトはここを見ていってちょうだい!」という地図を渡すことができます。
それがサイトマップ(sitemap)です。
企業のHPなどでお見かけした方もいると思いますが、人間が見る用のサイトマップとは違うクロール専用のもので、
XML形式(人より、プログラムが読みやすい特殊なリスト形式)で書かれたリストとなっており、
Google Search Console(グーグルサーチコンソール、通称サチコ)というウェブページから登録することができます。


クローラーも実際にはいくつかの種類があり、
(例:リンクを辿るもの/サイトマップを見るもの/スマホ版をチェックするもの...)といった具合に、役割ごとに動作が異なります。


またクローラーは継続的にクロールを繰り返しているとはいえ、1日にクロールできる数には限界があります。
そのためGoogleは、「このサイトは1日これくらい見に行こう」という枠を決めるようにしています。
それが「クロールバジェット」というものです。


クロールバジェット(枠)に対しては、 
①なるべくを大きく設定してもらい、②無駄にせず効率よく回遊してもらうこと
がSEOの一つのポイントになります。



先に説明した「内部リンク」や「サイトマップ」は、この②の効率よく回遊してもらうための施策ですね。



①の枠を大きくしてもらうためには、「クロール需要」と「クロール容量」を高めることが重要と言われています。
クロール需要とは、Googleさんに「このサイトはよく更新されているな」「このサイトは人気があるな」と判断してもらうことです。
クロール容量とは、どれくらいクロールしても大丈夫か、という指標です。


ページの表示速度が安定して高く、エラーページが少なく、サーバーが堅牢であることなどを評価します。
サーバが過負荷にならない範囲をGoogle側が判断して容量をきめることになります。



  クロール需要 × クロール容量 = クロールバジェット(枠)



以上のように、私たちのWEBページを発見してもらう第一歩である「クローラー」だけでも、
SEOとしてやるべきことがあり、それらは、システムの構造に依存する「テクニカルSEO」と、
WEBサイトの内容の充実が影響する「コンテンツSEO」の2種類に分けることができ、そのどちらも重要だということが分かりますね。



いかがだったでしょうか。本記事ではクローラーまでしか掘り下げてご説明することができませんでしたが、
次回はインデックス、できればランキングにも少し触れさせていただきます。
ランキングが一番奥が深く、おそらくSEOの中でも重要な要素になると思います。


本日の内容はテクニカルSEO(システムやサイト構造)のお話が多くなってしまいましたが、
ランキングはコンテンツSEOの比重が大きいです。またご覧になっていただければ幸いです。


ちなみに、クローラーはロボットとして扱われることが多いですが、実際はプログラム(ソフトウェア)であり
いわゆるメカっぽい実態をもったものではありません。(私の心の中のクローラーくんは今でもメカ的なやつです笑)



また、クロール(crawl)の語源は「這って動く」という意味で、WEB(蜘蛛の巣)の中を移動して情報を収集することからこのように呼ばれることになったとのことです。
私はネットの海をロボットがクロールで回遊してるようなイメージを持っていたのですが、実はクモ型ロボットくんだったようですね。


画像4.jpg



最後までお読みいただきありがとうございました。