Ogawa::Memoranda

これはひどい。こういうことを書くからSEO屋さんは信用できない。

SEOmoz | Proof Google is Using Behavioral Data in Rankings (原文)
Googleの順位決定にGoogle Analyticsのデータが使われていたことが判明！ | Web担当者Forum (日本語版)

オリジナルの記事(Google bounce factor research data is in)によれば、実験1は10～11位に位置していたリンクを人海戦術でクリックし続けるという実験である。かなり恣意的なキーワードで検索した結果に対して実験を行った場合には最高2位まで上昇したが、メジャーなキーワードの場合にはほとんど変化がなかったという。

ここで注意する必要があるのは、リンクが元々「10～11位に位置していた」という事実である。実験2では80位に位置するリンクを対象にしているのだから、この実験でも80位に位置するリンクでなければ、順位向上の効果の多寡を(少なくともBounce Rateに基づくものと)比較して評価できない。だから、

Googleの検索結果ページで行う特定サイトへのクリック数は、アルゴリズムの計算に反映されるが、わずかしか影響しない。

などというobservationは成立しない。アルゴリズムである以上「影響」があるかないかの二者択一であって、もし影響があるのなら、マイナーなキーワードであればあるほどまた順位が低ければ低いほど影響は大きく、その逆なら影響は小さくなるのが一般的だろう(門外漢なのでよく分からないが、サイト集合の分布というのはキーワードの生起頻度をλとするようなポアソン分布に従うのではないかな？)。

次に実験2は、同じく人海戦術で、Googleの検索結果ページからあるGoogle Analyticsが組み込まれたサイトへ飛び、そのサイト内で一定時間過ごすという試行を繰り返す実験。およそ1週間の試行でサイトの順位が80位から33位へと向上したという。

ここで問題となるのは有効な対照実験がなされていないことである。実験2は「Googleの検索結果ページのリンクをクリック」し、かつ「一定以上の滞在時間があることをGoogle Analyticsを使ってGoogleに伝達」した結果、順位が向上した、と言っている。であれば、前者のみの条件下で行った実験結果と比較しなければ、後者の寄与が存在するのかどうかを確認するのは不可能だ。

つまり、この場合の適切な比較対象は、「Google Analyticsが一切組み込まれていない、同等のキーワード・順位を持つサイト」に対して同様な実験を行ったもの、である。比較がなされていない以上、

この実験では、Googleが順位のアルゴリズムを改善するために、Google Analyticsのデータを利用していることが証明された。

などということは口が裂けても言えない。

著者らは「Googleの検索結果ページのリンクをクリック」する効果が無視できるほど小さいことを実験1で示したではないかと言うかもしれない。だが示していない。だから実際に筆者らが行ったのは「実験2の結論を導くために、実験1で意図的に効果を小さいものに見せることで読者をミスリードする」ことである。少なくともresearchと称してこんなことを行うべきではない。

念のため、私は、著者らの仮説がこれらの実験によっては証明されないと述べているのであって、仮説自体が誤っていると述べているのではない(そんなことは分からない)ことをお間違えなく。

だが、私は疑わしいと感じている。なぜなら滞在時間の増大や直帰率の低下は、ユーザがコンテンツに関心を寄せている場合だけでなく、単にサイトのナヴィゲーションやレスポンスが劣悪な場合にも生じる現象だからである。例えば、コンテンツ本文を読む際にユーザに一段の間接参照を強いれば必然的に直帰率は低下するが、それはユーザのコンテンツへの関心の高さを表しているわけではない。