活動報告3
【研究懇話会】第3回
マーケティング研究におけるフィールド実験の活用
当財団では2025年度、研究顧問を招いてさまざまな角度から話題を提供いただき、研究員と対話する研究懇話会を実施している。
全5回の開催を予定しており、9月25日に行われた第3回は、マーケティングと消費者行動を専門とする守口氏から、近年マーケティング界で重視されているフィールド実験の最新事情について、話題提供が行われた。
守口 剛（早稲田大学 商学学術院教授）
実際の生活空間で実施される「フィールド実験」
マーケティングにおけるフィールド実験の定義は、「実際の生活空間で実施する実験」である。よく使われているのがランダム化フィールド実験で、参加者をトリートメントグループ（処置群）とコントロールグループ（対照群）にランダムに分けて行う実験を指す。
医学界ではRCT（Randomized Controlled Trial）という手法が確立しており、これを生活空間に持ち込んだものがフィールド実験と言える。最近はこのランダム化フィールド実験をフィールド実験と称する場合もある。
事例として挙げられるのが、ファイザー社がコロナワクチン開発時に行ったRCTだ。実験参加者をワクチン接種群、生理食塩水接種群にランダムに二分し、発症率、重症化率などの差を観察した。前者の発症率が約1万8000人中8人なのに対して後者は160人となり、ワクチン接種による95％の発症リスク減少効果が示された。
フィールド実験の考え方に基づき、実務界で一般的に実施されているのが「A／Bテスト」である。マイクロソフト、アマゾン、 ブッキングドットコム、フェイスブック、グーグルなどの企業は、数百万人のユーザーを対象とするオンライン上のフィールド実験を、年間1万回以上実施していると言われている。
A／Bテスト事例…その1
ブッキングドットコムの予約画面
ブッキング・ドットコムのシニア・プロダクトオーナーのフェルメール氏は「人は推定することが極めて苦手であり、顧客の行動予測は十中八九外れる」と述べており、顧客体験の最適化のため、同社では年間2万5000回に渡ってA／Bテストを行っていると推計される。
その一つが図1の予約画面を比較するフィールド実験で、訪問者数はAが3万8121、Bは3万7770でAの方が多かった。しかし購入者数はAが87人で購入率は0・23％、Bが119人で購入率は0・32％と、Bの方が購入率が高いという結果になった。
AとBのどちらのデザインがクリックされやすく、購入率が高いかは専門家でもなかなかわからないが、このようにユーザーを対象にテストすると、結果となって表れるという事例である。
A／Bテスト事例…その2
大統領選挙のキャンペーンサイト
もう一つが2008年のオバマ陣営による選挙キャンペーンの実験例である。図2のウェブサイトで静止画（上3つ）と動画（下3つ）のメディア6種類、図3のボタン4種類のどれが一番クリックされるかをそれぞれテストした。
オバマ陣営は、メディアについては右下の動画のクリック率が最も高いと予想していたが、予想に反して静止画の方が全般的に高く、特に右上の家族の画像が最も高い9・66％となった。ボタンは「LEARN MORE」が最もクリック率が高く、8・91％となった。
このテストの結果を元に最適な組み合わせを採用することで、コンバージョン率（サイト訪問のうち最終成果に至った割合）はオリジナルのサイトより40・6％増となり、これは寄付金5700万ドルの増加に相当する結果となった。
ラボ実験と行動履歴データの「いいとこ取り」
社会科学全般ではフィールド実験が一般化しており、2019年にバナジー、デュフロ、クレマーの3氏が貧困問題への実験的アプローチでノーベル経済学賞を受賞した。また、Web of Science による検索結果を見ると、2016〜17年頃からマーケティング、経営学、経済学の各領域でフィールド実験を用いた論文数が増加していることがわかる。
フィールド実験の特徴は、参加者が研究に参加していることを認識していないか、認識している場合も通常通りの活動を行っており、現実場面における消費者行動が捕捉できることである。中でもリアリティのある消費者の行動を捕捉できるのが、ランダム化フィールド実験と言える。
ラボ実験は研究者側が状況をコントロールできるがリアルな場面で得られたデータではないので、リアリティには不足する。消費者の購買履歴などの行動履歴データはリアルな行動を反映しているが研究者側のコントロールはほとんどできず、相関関係を捕捉できても、因果関係を正確に捕捉することは難しい。
このようにラボ実験はコントロール性が高いがリアリティに欠け、行動履歴データはリアリティが高いがコントロールが難しいという特徴がある。
フィールド実験は両者の間に位置し、リアリティとコントロール性の両方を兼ね備えた「いいとこ取り」のアプローチと言える（図4）。
ランダム化実験による因果関係の把握
相関関係と因果関係は異なるものであり、図5のような企業の広告費と売上高の関係を見て「広告費が高い企業は売上高が高い」と解釈してしまうと誤りとなる。これは同じ年度の広告費と売上高を見ているので、この場合は「売上高が高い企業は広告費が高い」という逆向きの因果関係で捉えた方が適切と言える。
ランダム化フィールド実験は要因が結果に影響する理論的メカニズムを想定し、偶然の相関などの要因をコントロールすることで、因果関係の方向を特定することが可能となる。考え方を図式化したものが図6〜8で、ランダム化フィールド実験の効果測定には2つの方法がある。
効果測定方法…その1
ITT効果
（Intent-to-Treat Effect）
処置の意図の有無による効果の差を見るもので、例えばサンプルを送付した場合は、サンプルを使用したかどうかは問わず、送付によって購買率がどれだけ上がったかを測定するのがこの方法である。
ただしこの方法は、実際のサンプルを使った効果を知りたい場合には適さない。処置群の中で実際にサンプルを使った人の割合が小さい場合は、ITT効果も小さくなる欠点がある。
効果測定方法…その2
TOT効果
（Treatment on Treated Effect）
ITT効果では測れない、実際に処置を受けた人の効果を見るのがこの方法である。サンプル送付の場合は、誰がサンプルを使用したかを捕捉し、それを誰と比較するかが問題で、単に非送付群全体と比べたのでは同じ土俵での比較にならない。
そこで、サンプル非送付群の中でサンプルを送ったら使用したはずの人達と、サンプル使用者を比較することで、同じ土俵での比較が可能となる。この考え方をカウンターファクチュアル（反実仮想）と呼ぶ。「もしサンプル送付群の使用者が送付されなかったら」という仮想状態との比較であり、サンプル送付群とできるだけ似た傾向の人をサンプル非送付群に選ぶ「傾向スコアマッチング」という統計手法をとることが多い。
研究事例
カート・リターゲティング広告の効果測定
最後に、eコマースにおけるカート・リターゲティング広告の効果について、2016年に行った私自身の研究例を紹介したい（図9〜11）。オンライン店舗では商品をカートに入れたまま購入しない「カート放置」が平均68・6％に達しており、日本のファッション通販サイトでも約50％がカート放置されている。このカート放置された商品を対象としたリターゲティング施策をカート・リターゲティングと呼ぶ。
この研究では、カート放置からの時間経過と広告効果の関係を調査し、カート放置後30分後から72時間後までの間に、カート・リターゲティング広告を送ってリマインドする実験を行った。広告送付はメール、LINEの2つの方法である。まだ購入していない人に対して、経過した時間ごとに、ランダムに広告送付群と非送付群に分ける実験デザインを採用し、同じ土俵での比較を可能にした。
実験結果として、30分後や1時間後などのタイミングでの広告は逆効果であり、メール、LINEともに6時間後以降のタイミングで効果が出ることが実証された。
