ABテストツールは「数打ちゃ当たる」を機械化するためのツールではない

タイトルが全てなんですけどね。
以下のような記事を見つけまして。

駄文：ABテストがモノづくりを破壊する | nekokak's blog

いろいろと突っ込みどころはあるんですが、まず最初の「ABテストとは何か」が間違ってるんですよね。

ABテストって簡単に言うと２つ以上ある選択肢のうち一番良い結果を出すことのできるものを見つける事ですね。

もしこの記事を書いた方の組織がABテストをこのように捉えているなら、そりゃモノづくりもクソもあったもんじゃないよなと思います。

ABテストって、単に複数のクリエイティブから良いものを見つけ出す手法じゃないんです。
仮説を検証する行為なんです。テストなんですから。
単に複数のクリエイティブから良いものを見つけ出すなら、クリエイティブのパーツを機械的に作って、何千何万パターンと試せばいい。逆に言えば２つやそこらのパターン試しても意味ないです。数少なすぎ。

そしてそのやり方は、テストが上手く行かなかった時になにも残るものがありません。数打ちゃ当たるはつまり博打であり、博打は負けから学ぶことは何もありません。とかく次の博打を打つだけです。

ABテストは仮説を検証するものなんです。
よく「うちの会社はABテスト月に何十本回してます！」みたいな記事が上がりますが、仮説検証的なテストでなければ100本回そうが中長期的には得るものは少ないでしょう。
そうではなく、ウェブの解析データなりユーザヒアリングなり、事前のリサーチから得られた仮説を検証するのがテストです。
例えばサイトの解析データから、ある流入元からのユーザは特定の商品を好む傾向にあるようだ、という仮説があれば、その流入元からに来訪者の50%にはその商品を押すクリエイティブを出し、CVRの違いを見る、というテストを組むべきです。

仮説のあるテストならば、テスト結果が悪くても学びはあります。というかテストなので本来的には結果にいいも悪いもなく、常に解釈は「仮説が立証された」か「仮説が反証された」のどちらかでしかありません。ABテストツールは、あくまで仮説を検証するためのツールです。それを理解しないまま博打を打つ組織には、現場が疲弊しかつ上には良い結果を報告できないという二重苦が待ってます。

ちなみにこの話はテストの数が多いことを否定するわけではありません。仮説検証の際、事前の仮説の精度が大事になってきますが、僕が経験上一番精度高いと思う仮説の出し方は「テストしてみる」です。テストやった結果の深堀りが一番精度高く良い仮説が出てきます。良い仮説は良いテストを生み出し、良いテストは良い仮説を生み出します。なので事前のリサーチで仮説の精度を上げることも意味はあるのですが、「まずはテストしてみる」が重要です。