Googleのブロック対象になる重複コンテンツとは

重複コンテンツには、悪意があるものと、悪意のないものの2種類が存在する。
Googleからのブロック対象となるのは悪意がある重複コンテンツであり、偽装を意図しないものはブロック対象ではない。
ここでは悪意ある重複コンテンツと悪意のない重複コンテンツとではどのような違いがあるのかについて解説していく。
キーワードは独自性だ。

重複コンテンツとは

重複コンテンツについてGoogle検索セントラルでは、

一般に、重複するコンテンツとは、ドメイン内または複数ドメインにまたがって存在する、他のコンテンツと完全に同じであるか非常によく似たコンテンツのブロックを指します。

Google検索セントラル

とある。
『重複するコンテンツとは、よく似たコンテンツのブロックを指します』とあるように、それに該当しない悪意のないものは重複コンテンツとは呼称しないことを意味する。

Googleは、悪意あるものと悪意のないものを適切に判断したいと考えているということだろう。
ではそれぞれについて解説していく。

悪意ある重複コンテンツとは

悪意ある重複コンテンツはGoogleからのブロック対象となる。
Googleは、偽装されたサイトやページにユーザーを誘導したくないと考えているというのは疑問の余地がない。
また、Googleは企業からの広告によって成り立っているため、悪意ある重複コンテンツに広告を掲載させたくないはずだ。

Google Search Central でオーロラ・モラレスは「悪意ある重複コンテンツ」について以下のように3つの例をあげた。

・他のサイトのコンテンツをコピーし独自性や付加価値を加えることなく転載しているサイト
・他のサイトのコンテンツをコピーし、語句の一部を類義語に置き換えたり自動化された手法を使用したりなど若干の修正を加えたうえで転載しているサイト
・ユーザーに実質的な付加価値を提供することなく他のサイトの動画、画像、他のメディアなどのコンテンツを埋め込んだだけのサイト

ユーザーは転載したサイトとオリジナルのサイトのどちらに訪問したいと思うかを考えるとわかりやすい。
もちろんオリジナルのサイトに訪問したいだろう。

独自性があり付加価値の高いものをコンテンツとよび、それがないものが重複コンテンツということだ。

自サイト内での重複コンテンツ

サイト内の複数のコンテンツが重複している場合も少なくない。
類似するコンテンツをできるだけ少なくするというのは一番に考えたい対策だ。それでも類似してしまっている場合は、各ページに内容を追記するか1つにまとめることも検討したい。

ドアウェイ(誘導)ページ

例えば、地域ごとに作られたドメインやサブドメインで同じ(類似した)内容のページを複数作り、ランディング先のページへ誘導することをドアウェイといい、Googleはそれらのページを低品質コンテンツのひとつとして定義している。
地域ブログサイトがドアウェイページとして利用されることも多い。
それぞれのコンテンツには、独自性が薄いか皆無であることは容易に想像できる。

西区の買取、東区の買取、渋谷の買取、港区の買取

などのように、検索対策の目的のためだけに似たようなページを複数用意することだ。

下の画像の例は地域名が違うだけでコンテンツの内容は全く同じで、問い合わせ先も一緒のドアウェイ（誘導ページ）の例だ。

出典：Google ウェブマスター向け公式ブログ

上画像の場合、それぞれ4つのページをひとつにまとめることができるはずだ。
このような検索エンジンからユーザーを誘導するためだけのために作られた固有の価値を持たないページはGoogleガイドライン違反と定義されており対策の対象となる。

悪意のない重複コンテンツとは

偽装を意図としないが重複してしまっているコンテンツも多くある。
それは以下のようなものが挙げられる。

・wwwありとwwwなしのURLで同じページが表示される
・PC用とモバイル用でURLが分かれており、それぞれで同じ内容のページが表示される
・パラメータありなしのURL

つまり『技術的な重複』は問題ない。
ただし、同じページが複数のURLでインデックスされないようにするのは重要だ。

同じページのURLが複数ある場合、Googleは正規化されたURLをインデックスしようとする。
パラメータありなしでは、『なし』ページをインデックスする確率が高くなる。
コンテンツページに印刷用バージョンがある場合や、タグページが存在する場合など、Googleの検索結果にはどちらか一方のページが表示される。
このようにサイト内に同じページが複数存在する場合、優先するURLを指定する。これを『正規化』呼ぶ。

正規化の方法と注意点

技術的な問題で重複してしまっているコンテンツは、正規化によって優先するURLを指定することをGoogleはおすすめしている。
正規化の方法は以下の通りだ。

・301リダイレクト
・内部リンクの一貫性を保つ(wwwありなしなど、ページへのリンクURLを統一する)
・rel="cannonical"リンク要素
・URLパラメータ処理ツール

ただし、優先しないURLへの訪問をrobot.txtでクロールできないようにすることは推奨されていない。
URLが存在するにもかかわらず、クローラーが訪問できなければ、それら別々のURLが、同じページを指しているということを判断できないためだ。
あくまでも、重複しているURLへの訪問を許可したうえで、優先するURLを指定する。

最後に・・・

重複コンテンツには、Googleからブロックされるものとされないものの2種類がある。
コンテンツとはユーザーにとって有益な情報があり、独自性を持ったもののことを指す。
正規化は、クローラーの訪問を許可したうえで、優先するURLを指定することである。