その数字、いつからいつまでを切り取っているか

「施策後、問い合わせが急増しました」という報告は、たいてい嘘ではない。ただし、それが「いつからいつまで」の話かによって、意味はまるで変わる。

よくある誤解：「前年比」「施策後」と書いてあれば、比較は公正

伸び率や件数の変化を見せる資料には、たいてい何らかの期間が添えてある。「前年比400%」「施策開始後、急増」には時間の情報が入っているので、比較として成立しているように見える。期間が書いてある以上フェアな比較だろう、と読み手は無意識に前提を置いてしまう。

しかし、期間が書いてあることと、比較している2つの期間の条件がそろっていることは、別の話である。

実際はこう：比較の「両端」がそろっていないことがある

パターンは大きく2つある。

ひとつは、条件がそろっていない期間同士を並べること。たとえば、ある年の8月の問い合わせが10件、翌年12月に40件だったとする（以下は実在の案件ではなく、仕組みを説明するための数字である）。「前年比400%」と言えば聞こえはいいが、比べているのは自社にとっての閑散期と繁忙期であり、施策の効果かどうかはこの数字だけでは分からない。

ここで誤解してはいけないのは、繁忙期があること自体は何もおかしくない、という点である。展示会シーズンや年度末に相談が集まる商売はいくらでもある。問題は繁忙期があることではなく、繁忙期と閑散期の数字を条件をそろえずに並べて見せることにある。

もうひとつは、たまたま良かった1カ月を、再現性があるかのように語ること。施策を始めた直後の1カ月だけ問い合わせが跳ね、その月の数字だけを「施策後、急増」として見せる。その後2、3カ月で元の水準に戻っていても、そこには触れない。

なぜそうなるか：短い窓を選べば、都合のいい形が必ず見つかる

条件がそろっていない期間を並べる問題は、公的統計でも扱われている。総務省統計局は労働力調査の解説資料で、月次統計には季節的な要因で毎年同じ動きをする「季節変動」があると説明したうえで、原数値（季節調整前の数値）を前月・前々月と比較する場合はこの影響を除く必要があるが、1年前の同じ月と比較する場合はその必要がない、と述べている。どの月とどの月を並べるかが結果を左右するのは、業界を問わず成り立つ考え方である。

たまたま良かった1カ月を再現性のように語る問題には、別の説明がある。統計学者フランシス・ゴルトンは1886年の論文で、極端な値は次の観測でより平均に近い値になりやすいという傾向を示した。「平均への回帰」と呼ばれるこの現象は、極端な数字の一部が偶然による振れであるために起きるとされる。跳ねた1カ月がすべて施策の効果だったとは限らず、翌月以降落ち着くのは失速ではなく、もともとの姿に戻っただけということもある。

現場ではこうする：期間をそろえる、複数月で見る

確認したいのは、何と何を比べているかである。前年比を出すなら繁忙期同士・閑散期同士のように同じ季節の条件で比べ、単月の数字を出すならその前後2、3カ月の推移もあわせて示し、単発の当たりではないことを示す。

これは他社の数字を疑うためだけの話ではない。自社が数字を報告するときも同じ問いは返ってくる。「先月がよかったので」と単月の数字だけを見せると、翌月以降が落ち着いたときに「あの数字は何だったのか」という疑いが残る。比較条件と推移をあわせて出す手間は、次に出す数字を信じてもらうための手間でもある。

自社で確かめる3つの質問

1. その数字が比べている2つの期間は、季節や繁忙期・閑散期の条件がそろっているか。
2. 良い数字が出ている月がある場合、その前後2、3カ月はどう推移しているか。
3. 社内やお客様に数字を見せるとき、比較している期間の“両端”を、自分たちは説明できるか。

この記事の根拠・出所

• 総務省統計局「労働力調査の結果を見る際のポイント No.4」（2013年3月5日改定）。月次統計における季節変動と、原数値を比較する際は前年同月と比べれば季節変動を考慮する必要がないが、前月・前々月と比べる場合は季節変動の影響を除く必要がある、という説明。ひきだしが原典（PDF）を確認。stat.go.jp
• Francis Galton, “Regression towards Mediocrity in Hereditary Stature”, Journal of the Anthropological Institute of Great Britain and Ireland, Vol.15, 1886, pp.246-263。「平均への回帰」という概念の初出とされる論文。書誌情報はひきだしが複数の書誌データベースで確認した。
• 「極端な値は、その一部が偶然による振れであるために、次の観測でより平均に近づきやすい」という平均への回帰の解説は、統計解説記事による二次的な説明である。ひきだしが原論文本文までは確認できていない。
• 「前年比400%」（8月10件→12月40件）の例、および単月だけ跳ねてその後落ち着く例は、実在する企業・案件の数値ではなく、仕組みを説明するための仮の数字である。
• 見るべき対策を「期間をそろえる」「複数月で見る」に整理する考え方、および社内向け報告での注意点は、ひきだしの見解として構成した。