【例題つき】ABテストを統計的に正しく行うポイントとは？

広告運用において、より良いクリエイティブを探ることは重要です。

どちらのバナーがいいのか、どちらの広告見出しがいいのか、どちらのLPがいいのか……。このような判断のために「ABテスト」を行うことも多いでしょう。

しかし、「ABテスト」は正しく行わなければ、価値のある結果を得ることはできません。

今回は、「フィッシャーの三原則」を通じて、正しくABテストを行うコツをご紹介します。

>>「BtoB事業特化型の広告運用支援サービス」について詳しく見る<<

「フィッシャーの三原則」とは

「フィッシャーの三原則」は、R・A・フィッシャーという統計学者が提供した、実験計画においてデータの偏りや誤差を少なくするための原則です。具体的には以下の3つを指します。

詳しく見ていきましょう。

無作為化

無作為化とは、例えば「複数のお菓子を食べ比べて評価をする実験で、お菓子を食べる順番を被験者ごとにランダムに入れ替える」というようなことです。

この実験ではお菓子の比較をしたいので、それ以外の要素はなるべく均一にしたいです。とはいえ、食べる順番を完全に均一にすることはできません（すべてのお菓子を同時に食べることができれば均一ですが、それでは比較になりません）。

このような場合に、せめて被験者ごとに食べる順番をランダムにすることで、偏りを防ぐことができます。これを無作為化と言います。

繰り返し（反復）

繰り返しとは、「お菓子の食べ比べの実験で、ある程度多くの人に食べ比べてもらう」というようなことです。食べ比べ実験で被験者を一人にすると、その人の好みが反映された結果となってしまいます。

偏りを避けるためには、ある程度多くの被験者で実験をする必要があります。

局所管理（ブロック化）

被験者をグループに分ける際には、比較する部分以外はばらつきを小さく抑えることが望ましいです。被験者を2グループに分けるのであれば、どちらのグループも同じような年齢・性別の構成にし、差がないようにすべきです。

このために、実験の条件がなるべく均一ないくつかのブロックに分けて行うことがあり。これを局所管理（ブロック化）と言います。

例題：「ABテスト」の正確性をチェック

「フィッシャーの三原則」を踏まえた場合に、以下の広告配信における「ABテスト」が正確に実施できるかどうか考えてみましょう。

例題：
広告の「見出し」のABテストをおこなうため、LP・広告文は同じで、「見出し」のみ異なる広告AとBを作成した。これを同一の広告グループにいれ、2週間配信した。 2週間後、それぞれの広告の実績を確認し、クリック率が高い方が成果のよい「見出し」であると判断した。

いかがでしょう。

回答と解決法

実はこの「ABテスト」は、以下のような点で正確にならない可能性があります。

正確にならない可能性1：局所管理できていない

Google広告などの配信媒体の場合、媒体が保持しているユーザーの情報を勘案し、適した広告を配信します。

つまり、広告Aが男性に対して効果的であると分かった場合、広告Aは男性に優先的に配信されることがあります。

このような場合、広告Aと広告Bで接触したユーザーの属性が異なっている場合があります。

正確にならない可能性2：繰り返しが十分でない可能性がある

テスト例では各広告のインプレッション数やクリック数について触れられていませんが、例えば各広告のインプレッション数が5以下だったらどうでしょう？

インプレッション数が5以下では、クリック率を正しく評価をすることはできません。

ではどれくらいのインプレッション数やクリック数があれば適切か？

厳密にいうと、この判断をするためには有意であるかどうかの統計仮説検定が必要になりますが、手続きが煩雑ですし、条件によっても異なるので省略します。

一般的には400サンプル程度あればある程度信頼できるデータが取れると言われています。

正確にならない可能性3：無作為化できていない

たとえば、広告Aに接触したユーザーが全員、過去に広告Bを見たことがあるユーザーであり、広告Bに接触したユーザーは全員広告AもBも見たことがないユーザーであった場合、正確なテストにならないことが予想されます。

このようにウェブ広告独自の特徴もあり、「フィッシャーの三原則」とずれてしまう可能性があります。このような問題を避けるにはどうするのがよいのでしょうか。

解決法1：「ABテストツール」を使う

一番簡単な解決方法がこれです。「ABテストツール」の多くは、「フィッシャーの三原則」を満たすための機能を備えています。

具体的には、「完全にランダムにユーザーに接触させる」「統計的に有意な差が生まれた時点で通知してくれる」「過去の広告接触を考慮しデータをクレンジングしてくれる」などの機能です。

解決法2：広告のローテーションの設定を「最適化しない」にする

Google広告ではユーザーに最適な広告を出す設定を、無効にすることができます。これにより、「正確にならない可能性1：局所管理できていない」ことが避けられます。ただし、当然広告の配信成果に影響する可能性もあります。

解決策3：長めの期間でテストする

期間を長めにとることで、「正確にならない可能性2：繰り返しが十分でない」ことが避けられます。

まとめ

「フィッシャーの三原則」を軸に「ABテスト」で統計的に正しい結果を得るためのコツについてまとめました。これらを守ることで比較したい要素を正確に評価することができるようになります。

しかしながら、統計的に正しく実験をすることは、広告の最適化とトレードオフになる部分もあります。テストの設計の際はリスクも踏まえて実施することが重要です。