指標の測定におけるエラー、バリエーションとトレンド

LiftIgniterのお客様から、頻繁にいただく質問として、CTRやトラフィックの変化（リフト）が何を意味するのか、将来的なパフォーマンスの変化をどのように予測すればいいか、などがあります。このドキュメントでは、パフォーマンスの指標を測定する上で、よくあるエラー、バリエーションとトレンドについて説明します。

ここでは、下記の項目について説明します。

指標値の分析測定時のエラー（ウィジェットの表示やウィジェットのクリックなど）
サンプルサイズが不十分であることを原因とする、CTRとその他の指標比率の許容誤差
日次、週次、年次のトラフィックサイクル
CTRやその他の指標比率グラフの自己相関、アイテムのトレンドの周期などに関する説明

指標値の分析測定時のエラー

Javascriptの組み込みにおいては、LiftIgniterでは下記の測定を行うことができません:

EasyPrivacyのリストを使っているアドブロッカーの有効にしているユーザ。この他にも、uBlockなどのアドブロッカーも関連します。詳しくはアドブロッカーのドキュメントを参照してください。
Javascriptの読み込みが終わる前に離脱するユーザ
古いバージョンのブラウザを使っているユーザ。詳しくはブラウザの互換性のドキュメントを参照してください。
Javascriptを無効にしているユーザ
Opera Miniや、Amazon Silkなど、サーバ側で部分的にページを読み込むような、プロキシを使ってWebページを閲覧するユーザ。特にアフリカ圏のユーザがこれに該当します。

APIの組み込みにおいては、お客様がLiftIgniterに送ることを選択したデータだけをもとにそれぞれの指標分析を行うことができます。

これらのエラーは、ほとんどの指標の正確性に対して大きな影響は与えません。これらのトラックできないユーザにはそもそもリコメンデーションが表示されないケースがほとんどになります。これらのユーザは我々にも認識できません。

For more, see Debugging analytics discrepancies.

サンプルサイズが不十分であることを原因とする、CTRとその他の指標比率の許容誤差

許容誤差の原因を理解するために、ユーザーの行動の例をシンプルに仮定（ただし間違った内容です）します。それぞれのリコメンデーションウィジェットにおいて、ユーザーがウィジェットのリコメンデーションアイテムをクリックする確率を表す比率として、pがあったとします。ここで予測されるCTRは、p（パーセント表示）です。例えば、右カラムに表示したウィジェットの場合、クリックの確率は4.21％であり、十分なデータをもとにしたCTRは、4.21％になると予測しています。

実際のクリックの確率は測定できませんが、測定されたCTRの値は持っています。我々は、測定したCTRから実際のクリック率を推測することができます。この値を正確に知ることはできませんが、おおよその値をある程度の幅の中で特定することができます。具体的には、この値に対して95％の信頼区間でレポートを行います。実際の確率がその範囲外にあった場合は、測定されたCTRは、測定可能なCTRの5％の幅に収まる範囲の、確率予測を報告します、（上下2.5％の範囲内）。

例えば、7.29％のCTRを測定し、その値が7.29％±0.03％の信頼区間であるとすると、確率は7.26％から7.32％の間であると推測されます。確率が7.32％より大きい場合、観測された 7.29％のCTRは、観測されたCTRの下位2.5％になると推測されます。確率が7.26％未満であれば、観測された7.29％のCTRは、観測されたCTRの上位2.5％になります。

これらの理論をより完全に理解したい場合は、Wikipediaの二項比信頼区間の記事を参照してください。我々が信頼区間をレポートする際は、通常の近似区間を使用します。具体的には、ここで説明された計算式を使用します。

許容誤差には2つの重要な決定要因があります。

測定した数値（分母; widget shownのCTR）: 許容誤差は、測定値の平方根まで下がります。したがって、CTRにおいては、許容誤差はwidget shownの数値の平方根まで下がります。通常では、10,000件のwidget shownにおける測定誤差は±0.1％から±1％、100万件のwidget shownでは±0.01％から±0.1％です。これは、選択した日付の範囲が長いほど、許容誤差が小さくなることを意味します。
CTR: 許容誤差は、CTRが高くなるほど大きくなる傾向があります。 CTRが50％の場合は、CTRが5％の場合よりも大きな許容誤差が発生します。CTRの許容誤差における影響は、測定値の影響よりもはるかに小さなものになります。

これはクリックの確率の数値が実際には存在しないことを意味します。すべてのインプレッションは単独のもので異なるクリックの確率を持っています。そしてリコメンデーションの選択がこの確率に大きな影響を及ぼします。この許容誤差の計算が、本質的にはCTRの変動における下限値がどれくらいになるのかを示しています。つまり、許容誤差が大きい場合、CTRはそれを理由に変動することがわかります。エラーの範囲内にあるCTR変動の隠れた意味を特に理解する必要はありません。

日次、週次、年次のトラフィックサイクル

お客様のWebサイトのトラフィックが、日次、週次、年次で周期的に変化することがあります。お客様のWebサイトで見られるトラフィックの変化と、さまざまな種類のWebサイトのトラフィックの変化について知られている周知の事実を比較することができます。しかしながら、お客様は自身のWebサイトの過去の数値の変動を、分析ツールで既に理解されていると考えられます。ここであまり知られていないのは、これらの周期的変化がCTRなどの指標比率に対してどのように現れるかです。

週次サイクル:

ユーザが職場からアクセスするような、専門的な情報サイトとB2Bサイトのほとんどでは、週末に全体的なトラフィックが減少しても、CTRが上昇します。CTRの増加は10％から30％の間になります。週末のCTRの増加は、週末のページセッションの増加と同じ理由によるものです。急いでいないときには読む時間が増え、トラフィック量は減ります。そのため、このような場合ではコンテンツを真剣に読んでいるユーザが多くなります。
コンテンツの新しさを重要視するWebサイトでは、新しいコンテンツを投稿しない日にCTRが低くなる傾向があります。例えば、週末に新しい記事を投稿しないWebサイトでは、CTRが低くなる傾向があります。
その他のWebサイト（一般的なエンターテイメントのWebサイトやニュースサイトなど）では、明確なパターンはありません。これらはサイトごとに異なることが多く、一般的な傾向として比較することができません。トラフィックの数値が週次で明確な周期で変化したとしても、CTRの変化はこれと異なる場合があります。

年次サイクル: 年次のトラフィックのサイクルには明確な周期があります。しかしながら、CTRの変化はお客様のWebサイトで年間を通して発生する様々な変化に対して特に関係を持ちません。ただし、この例外である場合もあるため、過去1年以上のデータがある場合は、年次のサイクルを検証してみてください。

日次サイクル:すべてのWebサイトにおいて、トラフィックの変化に一定のサイクルが見られます。これは、ユーザの地理的位置、自宅や職場でのニーズの変化、コンテンツの種類、ソーシャルメディアにおけるプロモーションの戦略によって変化します。週末のCTRの増加と同じような理由から、夕方から夜にかけてCTRが増加します。ただし、この変化は基本的に小さくなります。Analyticsパネルを使っている場合、日次より詳細なデータは表示しないため、日次のサイクルは関連を持ちません。

自己相関

トレンディングニュースのイベントや、ドメインの開発に依存するWebサイトの場合、CTRは自己相関と呼ばれるパターンを示します。本質的に、数値が急速に上昇と下降を繰り返すのではなく、数日連続して上昇するか、数日連続して下降します。急激に上昇してから徐々に元のレベルに戻ったり、急激に加工してから徐々に元のレベルに戻ります。これらの上昇と加工は数日間続くこともあります。

この自己相関には、いくつかの関連する理由があります:

トレンドの周期

例えば、有名人の病気や死、新しいガジェット、新しいテレビ番組や歌などがこれにあたります。物事が起こるまでに様々な予測記事があったりする場合は、トレンディん具合tメウは徐々に上昇し、急速に減衰します。急に発生したような物事においては、とレンディングアイテムは急に上昇し、人々にその物事が知られてくると徐々に減衰していきます。

トレンディングアイテムのCTRに対する影響は明確ではありません。それは、この影響が2つの違ったパターンで現れるからです:

トレンディングアイテムがランディングページであった場合、分母となるwidget shownの数値が大幅に増加する可能性があります。この場合、トレンディングアイテムは、Webサイトの残りのコンテンツにはあまり関心がない、浅いトラフィックを引き寄せることによって、CTRを減少させる可能性があります。
トレンディングアイテムにユーザが引き寄せられるうえで、ウィジェットからそのアイテムを見つけるユーザが多かった場合、分子となるwidget clickの数値が大幅に増加する可能性があります。

Webサイトのフレームワーク上で、とレンディングアイテムをどのように扱うかを検討する必要があります。

ソーシャルメディアのバイラルと指数関数的な減衰

ソーシャルメディアの記事は、時間の経過とあわせて指数関数的に減少します。したがって、人気のあるFacebook記事があった場合、その記事からWebサイトへのトラフィックは、一般的に時間の経過とあわせて指数関数的に減衰します。これがCTRにどのような影響を与えるかは明確ではありません。その記事から来るユーザが頻繁に様々な記事をクリックするユーザであれば、その記事によってCTRは上昇し、徐々に通常のレベルまで減衰します。これ以外のユーザの場合は、CTRはこの記事のために下がってから、徐々に通常のレベルまで戻ります。