その数字、いつからいつまでを切り取っているか

「リニューアルしてから、問い合わせが増えました」と報告するとき、その数字はたいてい嘘ではない。ただし、比べている前の期間と後の期間で数える対象や季節が違えば、その「増えた」がサイトの効果だとは限らない。

よくある誤解：「リニューアル前より」「前年比」と期間が書いてあれば、比較は公正

伸び率や件数の変化を見せる資料には、たいてい何らかの期間が添えてある。「リニューアル前と比べて増加」「前年比で伸びた」「施策開始後、急増」。時間の情報が入っているので、比較として成立しているように見える。期間が書いてある以上フェアな比較だろう、と書いている本人も無意識に前提を置いてしまう。

しかし、期間が書いてあることと、比較している2つの期間の条件が同じであることは、別の話である。

実際はこう：前の期間と後の期間で、条件がそろっていないことがある

ずれ方は大きく3つある。

1つ目は、前と後で、数える対象が違うこと。いちばん身近なのが、ホームページのリニューアルの前後比較である。

リニューアル前、サイトのフォームは「お問い合わせ」の1つだけだった。リニューアルで、「見学予約」と「資料（ホワイトペーパー）のダウンロード」のフォームが新しく加わった。公開から数カ月たって、フォームから届いた件数をリニューアル前と並べると、はっきり増えている。

ところが、リニューアル前の期間には、見学予約も資料ダウンロードも、そもそも窓口が無かった。後ろの期間だけ、数える対象が3つに増えている。窓口が増えたのだから、合計が増えるのは当然である。問い合わせフォームだけを前後で比べると横ばいだった、ということも起こりうる。

これは、見学予約や資料ダウンロードが問い合わせより軽い行動かどうか、という話とは別である。仮に3つとも同じ重さでも、片方の期間にしか無い窓口を合計に足した時点で、前後の比較は成り立たなくなる。

2つ目は、季節がずれること。公開前の3カ月と公開後の3カ月を並べれば、比べているのは別の季節である。展示会シーズンや年度末に相談が集まる商売なら、その差だけで件数は動く。繁忙期があること自体は、何もおかしくない。問題は、季節の条件をそろえずに前と後を並べて、その差をリニューアルの効果として見せることにある。

3つ目は、たまたま良かった1カ月を、再現性のある成果のように語ること。公開した直後の1カ月だけ問い合わせが跳ね、その月の数字だけを「リニューアル後、急増」として見せる。その後2、3カ月で元の水準に戻っていても、そこには触れない。

なぜそうなるか：前後の差には、サイトの効果以外のものが混ざる

窓口がずれるのは、リニューアルの狙いそのものが窓口を増やす点にあるからだ。見学予約や資料ダウンロードを加えるのは、問い合わせの手前にいる人との接点を増やすためで、件数が増えるのは狙いどおりの結果である。ただ、その狙いどおりの増加と、問い合わせそのものが増えたことは、合計した1つの数字の中では見分けられなくなる。

季節のずれは、公的統計でも扱われている問題である。総務省統計局は労働力調査の解説資料で、月次統計には季節的な要因で毎年同じ動きをする「季節変動」があると説明している。そのうえで、原数値（季節調整前の数値）を前月・前々月と比較する場合はこの影響を除く必要があるが、1年前の同じ月と比較する場合はその必要がない、と述べている。どの月とどの月を並べるかが結果を左右するのは、業界を問わず成り立つ考え方である。

たまたま良かった1カ月を再現性のように語る問題には、別の説明がある。統計学者フランシス・ゴルトンは1886年の論文で、極端な値は次の観測でより平均に近い値をとりやすい傾向を示した。「平均への回帰」と呼ばれるこの現象は、極端な数字の一部が偶然による振れであるために起きるとされる。跳ねた1カ月がすべてリニューアルの効果だったとは限らず、翌月以降落ち着くのは失速ではなく、もともとの姿に戻っただけ、ということもある。

現場ではこうする：同じ窓口・同じ季節で比べ、複数月で見る

確認したいのは、何と何を比べているか、である。リニューアルの前後を比べるなら、前の期間にもあった窓口だけで比べる。問い合わせは問い合わせ同士で並べ、見学予約や資料ダウンロードは「新しく加わった窓口から、これだけ届いた」と別の行で示す。そのためには、公開の時点からフォームごとの件数を分けて記録しておきたい。合計しか残っていないと、あとから分けるのに手間がかかる。

前年比を出すなら、繁忙期同士・閑散期同士のように同じ季節の条件で比べる。単月の数字を出すなら、その前後2、3カ月の推移もあわせて載せ、単発の当たりでないことを示す。

報告を受けた上司や経営者からは、いずれこの問いが返ってくる。「リニューアルで件数が増えた」と合計だけを見せたり、良かった1カ月だけを見せたりすると、あとで中身や翌月以降の推移が分かったときに「あの数字は何だったのか」という疑いが残る。比較条件と推移をあわせて出す手間は、次に出す数字の信用を守るための手間でもある。

自社で確かめる3つの質問

1. リニューアルの前と後を比べるとき、前の期間には無かった窓口（見学予約や資料ダウンロードなど）の件数が、後ろの期間にだけ足されていないか。
2. その数字が比べている2つの期間は、季節や繁忙期・閑散期の条件がそろっているか。
3. 良い数字が出ている月がある場合、その前後2、3カ月はどう推移しているか。

この記事の根拠・出所

• 総務省統計局「労働力調査の結果を見る際のポイント No.4」（2013年3月5日改定）。月次統計における季節変動と、原数値を比較する際は前年同月と比べれば季節変動を考慮する必要がないが、前月・前々月と比べる場合は季節変動の影響を除く必要がある、という説明。ひきだしが原典（PDF）を確認。stat.go.jp
• Francis Galton, “Regression towards Mediocrity in Hereditary Stature”, Journal of the Anthropological Institute of Great Britain and Ireland, Vol.15, 1886, pp.246-263。「平均への回帰」という概念の初出とされる論文。書誌情報はひきだしが複数の書誌データベースで確認した。
• 「極端な値は、その一部が偶然による振れであるために、次の観測でより平均に近づきやすい」という平均への回帰の解説は、統計解説記事による二次的な説明である。ひきだしが原論文本文までは確認できていない。
• リニューアルでフォームが「お問い合わせ」1つから3つに増え、前後の合計が増えて見える例、および公開直後の1カ月だけ跳ねてその後落ち着く例は、ひきだしがサイトのリニューアルと運用を支援する中でよく見る形である。
• 見るべき対策を「前の期間にもあった窓口だけで比べる」「期間をそろえる」「複数月で見る」に整理する考え方、および社内向け報告での注意点は、ひきだしの見解として構成した。