テレビCM削減テストの判定基準はどう決める？——「何%下がったら中止」の根拠の作り方

【結論】判定基準は業界標準ではなく、自社の「ふだんの変動幅」から作る

テレビCM削減テストの判定基準は、「指名検索が◯%下がったら」の◯に入る業界標準の数字を探すのではなく、自社の過去データで指標がふだんどれくらい上下しているか（変動幅）を先に測り、その幅の外に出て続く下落だけを反応として扱う形で作ります。

理由は単純で、同じ「5%の下落」でも、週ごとの数字が±3%でしか動かないブランドでは大きな異変、±15%で動くブランドではふだんの範囲内だからです。閾値の意味は、指標のふだんの振れ方で決まります。

作り方は次の3ステップです。

1. 削減前の過去データで、監視する指標の「ふだんの変動幅」を測る
2. 中止ラインを「変動幅の外に、2週以上続けて出たとき」に引く
3. 判定の期日を「残存効果が抜けたあと」に置く

以下、順に手順を見ていきます。

「何%下がったら中止」に、業界標準の数字はない

「指名検索が何%下がったらテレビCMの削減を中止すべきか」という質問に対する、業界共通の基準値は存在しません。探すものではなく、自社の過去データと損益構造から作る数字です。

存在しない理由は3つあります。

第一に、指標のふだんの振れ方がブランドごとに違うからです。検索数の水準が小さいブランドほど週ごとの比率の変動は大きく出ます。同じ「▲5%」が、あるブランドでは検出すべき異変で、別のブランドでは毎月起きているノイズです。

第二に、テレビCMが担っている役割が商材ごとに違うからです。新規獲得をテレビCMに強く依存しているブランドと、デジタル広告が新規の主経路のブランドでは、同じ削減幅でも指標に出る反応の大きさが違います。

第三に、判定基準は「どこまでの悪化なら許容するか」という経営判断を含むからです。許容幅は損益の構造——テレビCM費の節約額と、売上減で失う利益の比率——から決まるもので、統計だけでは決まりません。この損益側の計算は、テレビCMをやめたら売上はいくら減るのかの記事（損益分岐点の計算）で扱っています。

判定基準を自社データから作る3ステップ

用意するものは、監視する指標（指名検索数・新規購入者数など）の週次データ、削減を始める前の1年分（52週）です。特別なツールは要らず、表計算ソフトで作れます。

ステップ1：削減前の1年分で「ふだんの変動幅」を測る

まず、削減を始める前の52週について、各週の値の前年同週比（前年のデータがなければ直近13週平均との比率）を並べます。この比率がふだんどの範囲で上下しているかが、その指標の「ふだんの変動幅」です。

たとえば、週次の指名検索数の前年同週比が、過去52週のほとんどの週で−8%〜+9%の範囲に収まっていたとします（数値は説明用の架空の例です）。この場合、ふだんの変動幅はおよそ±9%。ここで「▲5%で要注意」という基準を置いても、▲5%はふだんの範囲内なので、削減の影響なのかいつもの振れなのかを区別できません。

ステップ2：中止ラインは「変動幅の外に、2週以上続けて出たとき」に引く

中止ラインは、ふだんの変動幅の外側に置きます。上の例なら、「前年同週比が−9%を下回る週が2週以上続いたら中止を検討」という形です（数値は説明用の架空の例です）。

「2週以上続けて」を条件に足すのは、単週の逸脱を拾わないためです。ふだんの変動幅は「ほとんどの週が収まる範囲」なので、年に数回は幅の外に出る週が正常でも発生します。1週だけの逸脱で判定すると、テストは正常なノイズで何度も止まります。逆に、幅の外の値が連続するのは、ふだんの振れでは起きにくい状態です。

ステップ3：判定の期日は「残存効果が抜けたあと」に置く

最後に、「いつまでに反応が出なければ次の削減段階へ進むか」という期日を決めます。ここで注意が要るのは、テレビCMの効果には残存（アドストック）があることです。放送をやめた直後は、過去の放送の効果が残っているため、指標はしばらく下がりません。残存が残っているうちに「反応なし」と判定すると、影響を小さく見積もります。

残存の長さは商材や購買サイクルによって違うため一律には言えませんが、判定の期日は少なくとも「残存が抜けると見込む期間＋確認の数週間」の後に置きます。残存効果の仕組みと長さの考え方は、アドストック・飽和の記事で図解しています。

監視指標は「先に動く順」に並べ、総売上を最初の判定に使わない

判定基準を置く指標は、テレビCM削減の影響が先に出るものから並べます。一般に、影響が観測できる順番は、指名検索→新規購入者数→売上→市場シェアです。

テレビCM起点の行動のうち、最初に数字になるのがブランド名・商品名の検索で、購入・売上はその後に続きます。逆に言うと、総売上は最後に動く指標です。テレビCMを減らした直後は既存顧客の購入が売上を支えるため、新規購入者数が減っていても総売上は変わらないように見える期間があります。総売上だけを見て「影響なし」と判定すると、数か月後に出る下落を見逃します。最初の判定は、指名検索と新規購入者数に置いてください。影響が出る順番と時期の詳しい整理は、広告をやめたら売上はどうなるかの記事にあります。

各指標にステップ1〜3を適用すると、判定表は「指標ごとに、自社の変動幅に基づく中止ラインと判定期日が入った表」になります。会議で根拠を聞かれたら、「過去52週のふだんの変動幅がこの範囲なので、幅の外に2週続けて出たときだけ反応として扱う」と答えられる状態です。

監視だけでは分からない3つのこと

ここまでの判定基準は「監視」でできることの上限です。監視には検出できないものが3つあり、テストの計画書にはこの3つも書いておくことをおすすめします。書いていないと、テストの後で「結局、影響はいくらだったのか」という質問に答えられなくなるためです。

ふだんの変動幅より小さい影響は、検出できない

ステップ2の作り方から明らかなとおり、監視で検出できるのは「ふだんの変動幅を超える変化」だけです。指名検索の変動幅が±9%のブランドで、テレビCM削減の実際の影響が▲4%だった場合、その影響は監視の網には掛かりません（数値は説明用の架空の例です）。検出されなかったことと、影響がなかったことは同じではありません。変動幅より小さい影響を金額にしたい場合は、監視ではなく統計的な推定（後述）が必要です。

下がった理由が削減なのか、季節や競合なのかは、監視表からは分けられない

判定期間中に指名検索が中止ラインを下回っても、その週に競合が大型キャンペーンを始めていたり、季節要因の谷に入っていたりすれば、下落のうちテレビCM削減の分がいくらかは監視表からは分かりません。要因を分けるには、地域で分けた比較実験か、季節性・販促・競合の動きを織り込んだ統計的な推定が必要です。地域で分けられない場合の方法は、地域テストができないときの効果検証の記事で扱っています。

影響の一部は、監視期間よりずっと遅れて出る

8週間や12週間の監視期間で捉えられるのは、短期の反応だけです。広告停止の影響を長期で追った研究では、広告を1年以上止めた米国365ブランドの市場シェアが、平均で1年後に10%、2年後に20%、3年後に28%低下したと報告されています。ブランドの認知や店頭での想起を通じた影響は年単位で進むため、監視期間の判定が「継続可能」でも、翌年の影響がないことの証明にはなりません。だからこそ、テストの判定とは別に、年単位の指標（認知率・シェア）の定点観測を続ける必要があります。

DOREGAの場合｜監視で見えない分は、推定で補う

TAMKOのMMM分析サービス「DOREGA」は、この記事で「監視では分からない」と書いた部分——変動幅より小さい影響の金額化と、季節性・販促・競合要因の切り分け——を、過去の時系列データからの統計的な推定で補う分析を代行しています。エンジンにはGoogleのMMMフレームワーク「Meridian」を使い、前後のデータ整形・レポート作成を独自ツールで標準化することで、初回分析15万円で、テレビCMを含む施策別の貢献・ROI・飽和度と予算配分シミュレーションを出します。削減テストの監視と並走させると、「監視で異変を検知し、推定で金額を確定する」という二段構えになります。手元のデータで分析が成立するかは、無料の事前診断で確認できます。

よくある質問（FAQ）

判定基準の根拠は「自社のふだんの変動幅」。監視で見えない分は推定で補う｜まとめ

テレビCM削減テストの判定基準に、業界標準の数字はありません。根拠になるのは自社データで、作り方は3ステップ——削減前52週でふだんの変動幅を測る、中止ラインを「幅の外に2週以上」に引く、判定期日を残存効果が抜けたあとに置く——です。監視指標は先に動く順（指名検索→新規購入者数→売上→シェア）に並べ、総売上を最初の判定に使わない。そして、変動幅より小さい影響・要因の切り分け・年単位の遅れの3つは監視では分からないので、金額にしたい場合は統計的な推定を併走させる。この形なら、会議で根拠を聞かれても、テストの後で影響額を聞かれても、答えが用意できます。

この記事のポイント

• 「指名検索が何%下がったら中止」に業界標準の数字はない。判定基準は自社データの「ふだんの変動幅」から作る。
• 作り方は3ステップ——削減前52週で変動幅を測る／中止ラインは「幅の外に2週以上続けて出たとき」／判定期日は残存効果が抜けたあと。
• 監視指標は先に動く順に並べる。総売上は最後に動くので、最初の判定は指名検索と新規購入者数に置く。
• 監視で検出できるのは「ふだんの変動幅を超える変化」だけ。検出されなかったことは、影響がなかったことの証明ではない。
• 要因の切り分けと影響の金額化は、監視ではなく統計的な推定（MMM）や比較実験の仕事。広告停止の影響は年単位で拡大しうるという研究もあり、判定後も年単位の定点観測を続ける。