パフォーマンスの評価をする上で主に使用される指標の一つが、CTR（クリックスルーレート）です。このドキュメントでは、ウィジェットのクリックに限定して説明します。検索や広告のCTRはまた別に定義されるもので、このドキュメントの説明には含まれていません。
CTRの定義:
CTR=（ウィジェットのクリック数）÷（ウィジェットの表示数）
一般的にはパーセント表示でこの数値はレポートされます。そのため、レポートでは上記の計算値に100を掛けて%で表記します。
CTRを決定する要因は、レコメンデーションの質と量、場所とスタイルの3つがあります。
CTRは3つの要因の中から、1つ目をLiftIgniterにアウトソースして、2と3はお客様自身でコントロールする必要があります。
- リコメンデーションの選択は、LiftIgniterのようなパワフルなシステムを使って行います。よりパーソナライズされ、コンテキストにあったリコメンデーションのほうがより高い効果を表します。一つのパラメータとして変化させることができるのは、リコメンデーションの数です。一般的には、リコメンデーションの数は多いほうが効果が高く、3件から12件が理想です。
- リコメンデーションの表示位置は、一般的には、ユーザが得ようとしている情報などを読み終わった（または飽きて途中で読むのをやめた）際に、ユーザの視界に入っている場所が高いCTRを持つと考えられます。詳細はこのドキュメントの後半で説明します。
- リコメンデーションのスタイル、表示されるメタデータもこれに含まれます。詳細はこのドキュメントの後半で説明します。
A/BテストでCTRを比較する
CTRは、LiftIgniterのリコメンデーションを他のリコメンデーションのソースと比較する上で最も公正な指標の一つです。 ダッシュボードのAnalyticsパネルでは、LiftIgniterのCTR（青色で塗った部分）と、比較対象のCTR（オレンジ）のグラフが表示されます。LiftIgniterが効果を上げていれば、LiftIgniterのCTRの青い線はオレンジ色の線の上に見えることになります。このパーセンテージの上昇は、比較対象のに対してどのくらいのCTRを追加しているかを表します。
A/BテストのCTR比較。比較対象のスライスが小さすぎるため、このケースでは50/5のA/Bテストを行っていません。このデータは、ベンチマークを継続するために使用後も比較対象のスライスを維持しているお客様の例です。
CTR comparison for a 50/50 A/B test.
リコメンデーションの件数がCTRに与える影響
リコメンデーションの件数が増えることで、ユーザの選択肢が増えるため、リコメンデーションのCTRが増える傾向があります。しかしながら、CTRの増加はリコメンデーションの件数の増加とは比例しません。例えば、リコメンデーションの件数を倍に増やすと、CTRが増えますが、倍まで増えるに至ることはありません。これには3つの理由があります。
- 関連性の低下: リコメンデーションの表示位置が高いアイテムほどより高い効果を示します。逆に、アイテムが増えれば増えるほど、アイテム全体のコンテキスト上での質の平均は低くなる傾向にあります。
- 可視アイテムの減少: リコメンデーションのアイテムが多いほど、ウィジェット自体が大きくなり、ユーザがすべてのリコメンデーションを見れる可能性が低くなります。例えば20件のリコメンデーションを動画の右カラムに表示したとすると、上位5位〜6位のリコメンデーションがユーザの可視領域に入ることが多くなるため、残りのリコメンデーションの価値は低くなります。
- アイテム間の競合: 一部のユーザはいずれかのアイテムをクリックすることに関心がありますが、特に強い嗜好性を持ってアイテムをクリックするわけではない場合があります。これらの何かしらをクリックしようとするユーザは、より多くのアイテムを見るとクリックしようという傾向を失う場合があります。例えば、記事を読みたいと思っても、特定の読みたい記事があるわけではなく、どの記事を読んでいいか迷っているようなユーザは、3つの記事より6つの記事を見ることでクリックしなくなる傾向があります。
リコメンデーションの表示位置の役割
CTRの特性: リコメンデーションの表示位置は、ユーザが得ようとしている情報などを読み終わった（または飽きて途中で読むのをやめた）際に、ユーザの視界に入っている場所が高いCTRを持つと考えられます。これに関するガイドラインは下記のとおりです。
ページのタイプにあわせたいくつかの事例は下記のとおりです
動画およびスライドショーのWebページ: ここでのWebページ閲覧は、動画またはスライドショーのスクリーン自体で、スクロールせずに完結します。 ここでは全体的に右カラムが高いCTRを持つ傾向があります。動画の再生終了時とスライドショー終了時に表示するリコメンデーションは、ユーザがそのコンテンツに到達することを前提とすると高いCTRを持ちますが、コンテンツの終了率が低いと全体のCTRは低くなります。
記事のWebページ: 右カラムと記事の上部は、CTRのパフォーマンスが最低になります。特に、右カラムがこれまで広告の表示に多用されたために、ユーザから無視される傾向が強くあります。記事のすぐ下が、最も高いCTRを得る傾向があります。この位置に、OutbrainやTaboolaなどの外部再循環ユニットが表示され、その下にリコメンデーションウィジェットが表示されている場合は、リコメンデーションウィジェットのCTRはかなり低くなる可能性があります。
製品の詳細ページ: 製品の説明のすぐ下で、フリーフォーム形式の製品レビューなどよりも上が、最も高いCTRを得る傾向があります。
ホームページ（Topページ）: 一般的に、上に行けば行くほど高いCTRを得る傾向があります。これは、Topページを訪問するユーザの多くが、よりサイトへの愛着を強く持っている傾向があり、コンテンツを閲覧することが習慣化している場合が多く、サイトのコンテキストによってこれらの状況は変化しやすくなります。
CTRをvisibility（可視性）とVCTR
CTR=（ウィジェットのクリック数）÷（ウィジェットの表示数）
ユーザがリコメンデーションをクリックするための必要な条件の1つは、リコメンデーションを見る必要性があるということです。 したがって、次のようにCTRを分類することができます。
CTR = Visibility（可視性） * Visible Click-Through Rate (VCTR)
where:
Visibility（可視性） = （ウィジェットの可視（Visible）イベント数）÷（ウィジェットの表示数）
and:
VCTR =（ウィジェットのクリック数）÷（ウィジェットの可視（Visible）イベント数）
ウィジェットの表示位置について説明した内容が、Visibility（可視性）とVCTRのそれぞれの測定によって検証できます。例えば:
- リコメンデーションウィジェットが外部再循環ウィジェットの下に埋め込まれていると、Visiblity（可視性）が低くなり、全体のCTRが低くなります。外部再循環ユニットを取り外すことで、VCTRをほぼ同じに数値に保ちながら、Visibility（可視性）を向上させることができます。
- 動画の再生終了時とスライドショー終了時に表示するリコメンデーションが、動画やスライドショーの終了時のみ表示される場合は、VCTRが非常に高く、Visibility（可視性）が低くなります（動画またはスライドショーの完了率によって異なります）。
しかしながら、レポートされたVisibility（可視性）は、ユーザがそのリコメンデーションを見たかどうかを常に認識しているとは限りません。 特に、右カラムと記事の上部は高いVisibility（可視性）を示しますが、VCTRとCTRは低くなります。 これは、右カラムを無視する傾向が原因であると同時に、ユーザがコンテンツを閲覧している間に、リコメンデーションを表示するのが早すぎるというという原因が考えられます。
会の例では、CTRが向上しています。これをさらに調べてみると、Visibility（可視性）が向上したのに、VCTRに変化は見られませんでした。これは、純粋にこの変化がリコメンデーションウィジェットの表示位置の変更によるものと考えられます。
CTR increased sharply on January 5
However, VCTR was basically stable.
It turns out that the increase can be explained primarily due to increased visibility, which suggests it was due to a change in the widget placement (which it was).
リコメンデーションのスタイルの役割
リコメンデーションのスタイルの特性を下記に説明します。
タイトルと画像: ほとんどのユーザーが注目する2つの主な項目は、タイトルと画像（ほとんどのWebサイトがこれにあたります）です。 これらの一方または両方がないことで、パフォーマンスが低下する可能性があります。 画像がないまたは画像が壊れているリコメンデーションは、画像があるリコメンデーションのCTRの半分程度になります。読み込みに時間がかかる画像も、同じようにリコメンデーションのパフォーマンスを低下させます。
EコマースのWebサイト（価格情報のサイトも含む）では、一般的にCTRが低下します。これは、ユーザが製品の価格を調べるためだけにアイテムをクリックすることが多いからです。ただし、ユーザーエクスペリエンスを向上させるために価格を表示することは、意味があることと考えられます。また、最終的なコンバージョン率を見ても、CTRに与える影響は相殺されます。
製品レビューの数と評価は、ユーザーエクスペリエンスを向上させことができます。これらはCTRに影響する可能性がありますが、その影響範囲はWebサイトによって異なると考えられます。
タイトルと画像を含めること以外では、CTRを向上させるために最適化を行うのではなく、お客様が理想とするユーザエクスペリエンスの選択肢を持つことを推奨します。お客様のWebサイトのスタイルの変更がCTRに大きな影響を及ぼした場合（これは頻繁に起こります）、これらを考慮して変更を元に戻す決断を下すことも必要な場合があります。
A recommendation styling change by a website using LiftIgniter recommendations causes CTR to drop significantly. CTR recovers after the styling change is reverted.
CTRの値の範囲
上記に説明したとおり、CTRはWebサイト、リコメンデーションの質、表示位置、およびスタイリングによって変化します。我々のリコメンデーションウィジェットでは、パフォーマンスが0.1％から30％まで幅広く変動します。類似したWebサイトへの外部再循環（明確な広告ではないWebサイト）が、より高いCTRを持っていたとしても、通常ではその値は0.5％以下になります。
ここに、それぞれの特性ごとのCTRの値の範囲を紹介します。これらの値はWebサイトによって変動します。
コンテンツのタイプ | リコメンデーションの表示位置 | CTRの値の範囲 |
|---|---|---|
動画（動画のリコメンデーションを含む） | 右カラム | 5%〜50%、自動再生の機能を有効にしている場合は、動画再生終了後にリコメンデーションを表示するよりもCTRが低くなります。 |
動画（動画のリコメンデーションを含まない） | 動画の再生終了時（動画のスクリーン上） | 10%〜100%（動画の再生終了の比率に対して） |
スライドショー（スライドショーのリコメンデーションを含む） | 右カラム | 2%〜20%、動画よりもCTRが低くなります。 |
スライドショー（スライドショーのリコメンデーションを含まない） | スライドショーの再生終了時（スライドショーのスクリーン上） | 10%〜100%（スライドショーの再生終了の比率に対して） |
記事のページ | 右カラム | 0.5%〜10%、ここでのCTRは、表示されるアイテム数と、広告がリコメンデーションの視認性に与える影響によって大きく変動します。するかどうかによって大きく左右されます。 10件以上のリコメンデーションがあり、タイトルと画像が表示されていて、同じカラムに広告がない場合は、高いCTRを持つことが想定されます。 |
記事のページ | 記事の下（間に外部再循環をはさまない） | 2%〜20%、通常では、記事の読了率の10%〜100%になります。 |
記事のページ | 記事の下（間に外部再循環をはさむ） | 0.2%〜5%、記事の視認性が低くなるため、記事の下よりもCTRがかなり低くなります。 |
製品詳細のページ | 商品説明の下（レビューコンテンツの上） | 2%〜20% |
ホームページ（Topページ） | 表示位置による | 0.2%〜30%、表示位置、リコメンデーションの件数、ユーザの行動パターンによって大きく変動します。 |