テレビCMの「地域を分けたテスト」ができないときの効果検証——代わりになる3つの方法

【結論】地域で分けられなくても、「時間方向の変動」で効果は検証できる

地域を分けたテストは、「広告あり」と「広告なし」を同じ期間の別の場所に作る方法です。地域で分けられない場合は、同じ発想を時間方向に置き換えます——出稿量が多かった期間と少なかった期間の差を比較材料にする、という形です。

具体的な方法は3つで、置かれている状況で使い分けます。

以下、なぜ地域テストができないのかの整理から順に見ていきます。

「一部地域だけ止めて比べる」が実行できない4つの理由

地域テストの提案が会議で流れるとき、理由はだいたい次の4つのどれかです。自社がどれに当たるかを先に言語化しておくと、「なぜやらないのか」という質問にも答えられます。

出稿が全国ネット中心で、地域単位で止められない

全国ネットのタイム・スポットを中心に出稿している場合、特定エリアだけ配信を止めるという操作がそもそもできません。ローカル枠を組み合わせてエリア別の出稿量に差をつけることは可能ですが、枠の設計と買い付けをテストのために組み直す手間と費用が発生します。

売上データが地域で切れない

テストの判定には「地域別の売上」が必要です。全国一律のECサイトで販売している、卸経由で小売に流れていて地域別のPOSデータが手元にない、という場合、出稿を地域で分けられても効果を地域で測れません。

比べられる対照地域がない

地域テストは「出稿を止めた地域と続けた地域が、テレビCM以外の条件でほぼ同じ」であることを前提にします。地域ごとに市場規模・競合の強さ・店舗分布が大きく違う場合、差が出てもテレビCMの分なのか地域の性質の分なのかを分けられません。

期間とリスクが確定でかかる

地域テストは通常、数か月単位の期間を要します。その間、止めた地域の売上を実験に賭けることになり、繁忙期を挟めば機会損失も確定でかかります。テストの費用対効果が合わない規模の会社も多くあります。

これらは工夫で消える制約ではないので、無理に地域テストへ寄せるより、次の3つの方法に切り替えるほうが現実的です。

方法1：過去の出稿量の増減を、比較材料にする

新しいテストを設計しなくても、比較材料はすでに手元にあることが多い——これが方法1の要点です。過去1〜2年の出稿量と売上・指名検索を1枚の表に並べれば、出稿の増減が「広告あり」と「広告なし」に近い比較材料になります。

過去1〜2年の月別（できれば週別）の出稿量（GRPまたは出稿費）と、売上・指名検索数を1枚の表に並べてください。出稿が多かった期間と少なかった期間、キャンペーンで増やした月、予算の都合で減らした月——この増減が比較材料です。

たとえば、出稿を例年の半分に絞った四半期に、指名検索の前年同週比だけが他の四半期より一段低く推移していたなら、テレビCMが指名検索を支えていた可能性の当たりが付きます（数値の関係は説明用の架空の例です）。

この方法の弱点は2つあります。第一に、得られるのは「影響がありそうか」という当たりまでで、金額にはなりません。第二に、出稿の増減が毎回セールや季節と同時に起きているデータでは、売上の変化がどちらの分か切り分けられません。切り分けには、次の方法2が必要です。

方法2：時系列データから統計的に推定する（MMM）

季節性・販促・競合などの要因を織り込んだうえで、「出稿がなかったらこの期間の売上はいくらだったはずか」を統計モデルで推定するのが、MMM（マーケティングミックスモデリング）です。地域別のデータを前提にしない点が、地域で分けられない会社にとって重要です。

MMMは、売上を「広告がなくても立つ売上（ベースライン）＋施策別の貢献＋季節などの要因」に分解し、テレビCMの貢献分を幅つきの推定値として出します。仕組みの全体像はMMM（マーケティングミックスモデリング）とは？の記事で解説しています。

GoogleのMMMフレームワーク「Meridian」は、地域別データが使えない場合のために、国レベル（全国1本）のデータでのモデリングを公式ドキュメントでサポートしています。全国ネット中心の出稿でも、週次の売上と出稿費の時系列があれば分析の土俵に乗ります。

正直に添えると、同じ公式ドキュメントは、使えるなら地域別データを推奨してもいます。地域の数だけデータの本数が増えるため、推定の幅が狭くなるからです。全国1本のデータでの推定は成立しますが、幅は広めに出ます。結果を使うときは、点の数字ではなく幅つきの推定として扱ってください。

なお、この時系列推定は、増分売上・増分ROASの記事で「広告がなかった場合の売上」を推定する方法4として紹介したものと同じ考え方です。指標の定義から知りたい場合はそちらから読んでください。表計算ソフトの回帰分析で簡易に試す手順は、広告効果を自分で分析する方法の記事にあります。

方法3：これから減らすなら、「減らし方」を検証できる形に設計する

削減がすでに決まっている場合は、減らし方そのものをデータ設計として扱えます。同じ削減額でも、減らし方によって、後から影響を測れるデータになるかどうかが変わるからです。押さえるのは3点です。

第一に、一気にゼロにせず、段階を分けることです。出稿量の水準が複数あるほど、「出稿量と反応の関係」を推定する材料が増えます。全国一斉にゼロへ落とすと、比較材料は「前後」の1組しか残りません。

第二に、他の変更と時期をずらすことです。テレビCMの削減と同じ月にデジタル広告の増額や値上げを重ねると、後から売上の変化を分解できなくなります。ずらせるものは数週間でもずらしてください。

第三に、何をいつ変えたかを記録することです。減らした日付・対象・金額の記録は、そのまま後の分析の入力になります。裏を返すと、削減や停止は損失であると同時に、自社のデータに「出稿量が大きく動いた期間」という貴重な変動を残す機会でもあります。止めた後からでも、この変動を使って影響を推定できます。

段階的に減らす場合の「どこまで下がったら中止するか」の決め方は、削減テストの判定基準の記事で扱っています。また、削減の判断そのものに使う損益分岐点の計算は、テレビCMをやめたら売上はいくら減るのかの記事にあります。

地域で分けられるなら、分けたほうが確かではある

最後に、逆側も正直に書いておきます。地域別の出稿と地域別の売上データが両方用意できるなら、地域を分けた比較実験は増分の証明として最も確かな方法のひとつで、MMMの推定結果を実験で確かめる（キャリブレーションする）使い方もできます。実行できる条件が揃っている場合は、インクリメンタリティテストとMMMの使い分けの記事を先に読んでください。この記事の3つの方法は、その条件が揃わない場合の現実解です。

DOREGAの場合｜全国1本の時系列データから、テレビCMの貢献を推定する

TAMKOのMMM分析サービス「DOREGA」は、この記事の方法2——時系列データからの統計推定——を分析代行の形で提供しています。エンジンには国レベルデータのモデリングをサポートするGoogleの「Meridian」を使い、前後のデータ整形・レポート作成を独自ツールで標準化することで、初回分析15万円で、テレビCMを含む施策別の貢献・ROI・飽和度の分解と予算配分シミュレーションを出します。地域別データは必要なく、お客様にご用意いただくのは週次または月次の売上・出稿データです。手元のデータで分析が成立するかは、無料の事前診断で確認できます。

よくある質問（FAQ）

地域で分けられないなら、時間方向の変動で測る。減らすなら測れる形で減らす｜まとめ

「一部地域だけ止めて比べる」テストは確かな方法ですが、出稿枠・売上データ・対照地域・期間の4つの制約で、実行できない会社が多いのが実務です。代わりになるのは時間方向の変動で、①過去の出稿増減を比較材料にして当たりを付け、②季節性などの要因を織り込んだ時系列推定（MMM）で金額の幅を出し、③これから減らすなら段階を分けて・他の変更とずらして・記録を残して、後から測れるデータを自分で作る——という3段です。地域で分けられないことは、効果検証をあきらめる理由にはなりません。

この記事のポイント

• 地域テストが実行できない理由は4つ——全国ネット中心の出稿枠・地域で切れない売上データ・対照地域の不在・期間とリスク。自社がどれに当たるかを先に言語化する。
• 地域で分けられない場合は、時間方向の変動——出稿量が多かった期間と少なかった期間の差——が比較材料になる。
• 過去の出稿増減と売上・指名検索を1枚の表に並べるだけでも、影響の有無の当たりは付く。金額と要因の切り分けには時系列推定（MMM）が必要。
• MeridianのMMMは国レベル（全国1本）のデータを公式にサポート。ただし地域別データより推定の幅は広く出るため、幅つきで扱う。
• これから減らすなら、段階を分ける・他の変更と時期をずらす・記録を残すの3点で「後から測れる削減」にする。止めたこと自体が、影響を推定するための入力になる。