SEOとは、検索エンジンでコンテンツが良い評価を受けるためのいろいろな方法です。SEOをするには、検索エンジンの知識が必要です。まず、SEOで大切な「クローラビリティ」という点について説明します。
Googleの仕組み
Googleについて Googleは、「クローラー」というプログラムを使って、ウェブ上の情報を自動で集める検索エンジンです。集めたデータは、データベースに保存され、検索すると特別な方法で結果として出てきます。クローラーが情報を集めることを「クローリング」といい、集めた情報がデータベースに保存されることを「インデクシング」と言います。「インデクシング」は「インデックスされる」とも言われ、「インデックスされない」とは、Googleのデータベースにサイトの情報が保存されず、検索結果にサイトが出ない状態のことです。つまり、SEOを進めるためには、Googleのクローラーにサイトをクロールさせ、インデックスさせる必要があります。
クローラーにクロールされるためには?
クローラーにクロールされる方法について説明します。
Googleのクローラーは「Googlebot」と呼ばれ、ウェブサイトを訪れた形跡を確認できることがあります。Googlebotはどのサイトをクロールするか、どれくらいの頻度でクロールするかを考えながら、ウェブ全体をクロールします。
クローラーにクロールされるためには以下の条件が必要です。
- クローラーにたどってもらうリンクを用意する
- クローラーはウェブ上にあるリンクをたどりながらクロールします。他のサイトからリンクされている新しいサイトを見つけます。
- 外部サイトからのリンクがないと、クローラーに見つけられにくくなります。外部からのリンクが必要です。
- Googleにサイトを登録し、ウェブマスターツールを使ってサイトマップを送信する
- Googleには「サイトの登録」ページがあり、ここから情報を送信することでGoogleにサイトの存在を知らせられます。
- ただし、このページから情報を送信しても、必ずクロールされるわけではありません。補助的な方法と考えてください。
クロールされてもインテsツクスされるとは限らない
クローラーにクロールされても、サイトの情報がインデックスされないことがあります。これには主に3つの原因があります。
- 「noindex,nofollow」のmetaタグが設定されている
- サイトのHTMLに、metaタグで「noindex,nofollow」という設定がされている場合があります。これは、ページをクロールするけれどもインデックスはしない、またはページ内のリンクをクロールしないことを意味します。この設定がされていると、クロールされてもインデックスされません。外部サイトが「nofollow」を設定している場合、そのサイトからのリンクをクローラーがたどらないこともあります。
- WordPressのプライバシー設定
- WordPressには「プライバシー設定」というものがあり、検索エンジンをブロックする設定が含まれています。この設定を行うと、サーバー内に「robots.txt」というファイルが作成され、クローラーのアクセスを拒否する設定が記述されます。WordPressでサイトを作っていてインデックスされない場合は、この設定を確認することが大切です。
- Googleのウェブマスター向けガイドライン違反
- Googleには「ウェブマスター向けガイドライン」というページがあり、サイトを評価する際の指針や、Googleが不正とみなす行為について書かれています。不正行為を行ったサイトはペナルティを受け、インデックスが削除される可能性があります。
サイトが Googleにインデックスされているか確認する方法
サイトがGoogleにインデックスされているかを確認する方法を簡単に説明します。
- 「siteコマンド」を使う
- 検索窓に「site:トップページのURL」または「site:ドメイン」と入力すると、現在インデックスされているページの一覧が表示されます。
- ウェブマスターツールでサイトマップの状態を確認
- ウェブマスターツールでXML形式のサイトマップを送信すると、インデックスの状況を確認できます。ただし、表示されるインデックス数はサイトマップに記載されたURLを基にしており、siteコマンドの結果とは異なることがあります。
サイト内のページが検索エンジンにインデックスされていることは、SEOにおいて非常に重要です。インデックスされるためには、クローラーにクロールされる必要がありますが、クローラーが多くのサイトをクローリングしているため、クローラーに負担をかけないサイト構造（クローラビリティの高いサイト構造）の構築が重要です。