WEB担当者のためのスキルアップノートA/Bテストの効果と失敗しないためのコツ
成功しているWEBサイトの事例を見ていると、「A/BテストによりCV率が2.5倍に改善した」「A/Bテストにより流入数が250%増えた」などの記事をよく見かけます。A/Bテストは正しく使えば数多くの事例で見かけるような、絶大な効果を自社にもたらします。一方で、失敗に終わるA/Bテストもあるのが現実です。ではその違いはどこにあるのでしょうか。
Contents
A/Bテストについての概要
A/Bテストとは何か
A/BテストとはWEBサイトの要素単位（バナーやキャッチコピーなど）やページ単位で異なる2つ以上のパターンを作成し、それぞれの効果を検証して、より成果に結び付く施策を見つけ出すためのテストです。流入が極めて少ないサイトであれば、多少ページの内容を修正したり、導線を大きく変えてもコンバージョンへの影響は少ないと言えます。ただし、月間数十万PV、数百万PVのサイトとなればコンバージョンへの影響を考えると慎重にならざるをえません。そのような状況では一度にサイトの修正を行うよりは、ある程度サンプルを抽出して、オリジナル（A）とは違うパターン（B）をユーザーに見せていくことで、本当にその施策をサイトに導入して良いのかを判断します。
A/Bテストの具体例
例えばですが、WEBサイトのメルマガ登録を促すバナーの近くにテキストで説明文を置くとします。
- A: メールマガジンに登録するとお役立ち情報を配信。
- B: 無料のメルマガにいますぐ登録！
Aパターンは情報の有用度を訴求。Bパターンは費用を訴求したパターンです。どちらが良いかはユーザーに判断してもらうまで分からないので、このようなテストを何度も繰り返していきます。それが上述のようなテキストによるものか、バナーによるものか、あるいはページそのものを大きく変えたレイアウトによるものか、という違いにすぎません。
A/Bテストのツール
おすすめのA/Bテストツールを1つあげると、「Optimizely」があります。現在では全世界で7000社以上が導入しているツールで、日本語版もあります。HTMLやCSSを理解していなくても、直感的にテスト版が作れるのが人気の理由でしょう。無料のスタータープランが使えるので、一度是非使ってみて下さい。また、Googleの「Googleオプティマイズ」であれば無償でA/Bテストが行えますが、現在はベータ版利用の参加者を募っている状態ですので、新規アカウントを作成してもすぐに使うことができません。
A/Bテストを効果的に実施して成功させるためのコツ
コンバージョンに影響がある箇所に限定する
コンバージョンに影響がないポイントを改善しても、お金と時間が無駄になってしまいます。A/Bテストを実施する際は、すべからくコンバージョンに関係がある箇所に限定して行って下さい。また、パレートの法則ではありませんが、Google Analyticsを見ているとやはり一部のページからの流入が多数のコンバージョンに影響を与えているケースをよく見かけます。最低限コンバージョンに影響があるページに対してA/Bテストを実施すべきですが、もっと言えば、最もコンバージョンに影響があるページを優先してA/Bテストを実施すべきでしょう。
テクニックに走らない
A/Bテストの事例を見ていると、「問い合わせボタンを緑色に変えたらCVが300%増えた」「キャッチコピーの頭に数字、末尾に感嘆符を入れたらクリック率が増えた」など、様々なA/Bテストの成功事例をネットで集めることができます。それらの成功事例はあるメディアやサイトでは成功したかもしれませんが、自社サイトで成功するかどうかは分かりません。小手先のテクニックに走る前に、まずは目の前のユーザーについて今一度深く考えてみましょう。
仮説を論理的に立てる
直感や上司の気まぐれでA/Bテストをしていても、成果にはつながりません。また、「過去の経験則上こうだと思う」という主観や上述のような「どうやら他社はバナーを●色に変えたらから成功したようだ」といった事例を真似てA/Bテストを行っても同様に成功は難しいでしょう。A/Bテスト案を考える際は、「なぜ」というユーザー心理を鋭くえぐるような仮説を立てる必要があります。チーム内でディスカッションを深めながら仮説を立てていきましょう。
結果が悪くても理由を分析する
仮説通りに結果が改善すればもちろん素晴らしいですが、仮に結果が仮説に反していても必ず理由をチーム内で検討して下さい。それが次の仮説を立てる際に活きてきます。失敗してしまう企業のA/Bテストに多いケースとしては、結果をきちんと解釈して次のテストを行わない場合に多く見受けられます。「このパターンは駄目だったから次のパターンを試してみよう」ではなく、ユーザーの心理を踏まえた上での因果関係を明らかにしていきましょう。
テストの量を増やす
A/Bテストはとにかく量が重要です。1年に1回A/Bテストを実施するか、1ヶ月に1回実施するかでは最終的な成果に大きな差が出ます。上述したような効果の薄いA/Bテストは何度繰り返しても期待する成果を望みにくいですが、適切に順序やコツをおさえたA/Bテストを実施しているのであれば、量は少ないよりも多い方がサイトをより理想的な姿に近づけることができます。量は質を凌駕するという言葉がありますが、それは1つの真理を言い表している言葉だと思います。
A/Bテストで失敗するケース
条件が一定していない
例えばAとBのパターンの開始時期をズラして実施するA/Bテストでは意味がありません。仮説を検証する際は、相違点以外は全ての条件を同じに揃える必要があります。ある事象間に「因果関係がある」と証明するためには、
- 時間的順序が正しいこと：まず原因が先に起きて、次に結果が起きること。
- 相関関係が存在すること：一方が変われば他方も変わる関係であること。
- 第3因子が存在しないこと：原因と結果が見せかけの状態で、実は両方の原因となるような本当の原因が存在しないこと。
が必要だと言われています。A/Bテストの際に条件をバラバラにすることで、この第3因子の存在有無を確認しづらくなります。
結果を主観により判断しない
A/Bテストにおいてはデータによる判断を何よりも重視して下さい。「自分はやはりこのAパターンの方がユーザーに好まれると思うから、変更しない方がいいと思う」といった上司の気まぐれがまかり通るような組織ではA/Bテストは機能しません。データをもとに仮説を立てて、データをもとに仮説を検証し、データをもとに次の仮説へと思考を進めて下さい。WEBマーケティングは非常に数字が取りやすいので、データをもとに意思決定ができる組織においては非常に効率的に改善を進めていけると言えます。
改善結果が即時に反映されない
どんなに良い結果が出ても、それをすぐに反映できるような体制になっていなければ意味がありません。上述のA/Bテストツールを使えば、テストの段階ではHTMLやCSSを編集することなくBパターンを容易に作成することができます。ただし、結果が出た後に実際にWEBサイトに実装するためにはエンジニアチームの協力が欠かせません。何よりA/Bテストを成功させるためには、それをスムーズに導入するためのリソースをまずは確保しましょう。
おわりに
以上見てきたように、A/Bテストを成功させるにはコツがあります。それらのコツを意識しながらも、根底にあるのは「訪問してくれるユーザーにより快適な体験をしてほしい」という気持ちではないでしょうか。自社にとってのユーザーをきちんと理解して、そのユーザーの利便性を改善することを日々考え抜くことが何より大切だと思います。