ABテスト完全ガイド

ABテストは、スプリットテストとも呼ばれ、Webページまたはアプリケーションの2つのバリエーションを比較して、どちらが優れているかを確認するマーケティング手法です。

AおよびBのバリエーションは、ユーザーにランダムに表示されます。次に、結果の統計分析により、コンバージョン率などの特定の事前定義された指標に従って、AまたはBのどちらのバージョンのパフォーマンスが優れているかが判断します。

例えば、クリック数・購入数・購読数などが最も多いバージョンを確認し、コンバージョン最大化のためにWebサイトを最適化することができます。

・ロイヤリティプログラムのABテストで登録を29％増やしたDanone事例
・ログインページABテストで収益が15%増加したランコム事例
・LushのABテストを活用したデジタル顧客体験の最適化事例

すべてのWebサイトには「存在する理由／目的」があり、定量化できるため、ABテストを実施すべきです。オンラインショップでも、ニュースサイトでも、リードジェネレーションサイトでも、どのような種類のコンバージョンであれ、コンバージョン率の向上を目指しているからです。

「リード」とは、セールスリード、つまり見込み顧客という意味で使われます。この場合、ABテストでは、性別や年齢層など、接触した人の性質に関する情報を利用します。

メディアの世界では、「エディトリアルABテスト」という言葉の方が適切です。

報道機関と密接な関係にある業界では、ABテストの背景にある考え方は、特定のコンテンツカテゴリーの成功をテストすることです（例えば、ターゲットとなる視聴者にぴったり合うかどうかを確認するなど）。

ここでは、上記の例とは異なり、ABテストには営業的な機能ではなく、編集的な機能があります。コンテンツの見出しのABテストは、メディア業界では一般的に行われています。

Eコマースの分野でABテストを使用する目的は、Webサイトやオンライン商業アプリにおいて平均注文額や商品販売数を最大化することです。

ABテストでは、販売数をもとに、どのバージョンが最も優れているかを判断します。特に、トップページや商品ページのデザインが重要ですが、購入に至るまでのビジュアル要素（ボタンやコールトゥアクション）も考慮する必要があります。

ABテストにはいくつかの種類があります。状況に応じて、最適なものを選択してください。

• 基本的なABテスト
  同じURLで2つのバリエーションのページをユーザーに提示します。これにより、同じ要素の2つまたは複数のバリエーションを比較することができます。

• スプリットテストまたはリダイレクトテスト
  スプリットテストでは、トラフィックを1つまたは複数の異なるURLにリダイレクトします。サーバー上で新しいページをホスティングしている場合、これは効果的なアプローチです。

• 多変量テスト
  多変量テスト は、同じWebページに対する複数の変更の影響を測定します。たとえば、バナー、テキストの色、コンテンツ要素などを変更できます。

技術面では、以下のことができます。

• WebサイトでABテスト
  WebでのABテストは、あるページのバージョンAとBを比較することができます。ABテストでは、AバージョンとBバージョンのページを比較し、その結果を、クリック数・購入数・購読数など、あらかじめ設定した目的に応じて分析します。

• ネイティブモバイルiPhoneまたはAndroidアプリケーションでABテスト
  アプリケーションの場合、ABテストはより複雑になります。スマートフォンにアプリケーションをダウンロードして展開した後に、2つの異なるバージョンを提示することができないからです。しかし、アプリケーションを即座に更新するための回避策は存在します。デザインを簡単に変更して、その影響を直接分析することができます。
  

• APIを利用したサーバーサイドABテスト
  APIとは、データ交換のためにアプリケーションとの接続を可能にするプログラミング・インターフェースのことです。APIを利用することで、保存されたデータから自動的にキャンペーンやバリエーションを作成することができます。

AB TastyなどのABテストツールを使用して、複数のデバイスでテストすることができます。

ABテストとコンバージョン最適化は、企業が利益を上げるための方法で、「同じ量のトラフィックでより多くの収益を上げる」というシンプルなものです。

獲得コストの高さや複雑なトラフィックソースを考慮すると、まずは現在のトラフィックを最大限に活用することから始めてみてください、

Eコマースサイトの平均コンバージョン率は1％から3％の間で推移しています。なぜでしょうか？

コンバージョンは、生成されたトラフィックの質、顧客体験、オファーの質、Webサイトの評判、さらには競合他社の動向など、さまざまな要因に左右されます。上記の要素が、消費者に与える悪影響を最小限に抑えるためにはさまざまな方法がありますが、ABテストはデータを使用して最善の決定を下すのに役立ちます。

ABテストは、より広範なコンバージョン最適化戦略を確立するために役立ちますが、それだけでは決して十分ではありません。 ABテストツールは、特定の仮説を統計的に検証することはできますが、それだけではユーザーの行動を高度に理解することはできません。しかし、ユーザーの行動を理解することは、コンバージョンに関する問題を理解するための鍵であることは確かです。

そのため、ABテストに他の手段による情報を加えていくことが重要です。そうすることで、ユーザーをより深く理解することができますし、何よりもテストの仮説を立てるのに役立ちます。

• Web分析データ
  このデータだけでは、ユーザー行動の可視化はできませんが、コンバージョンにおけるボトルネックを特定できます（たとえば、ショッピングカートの放棄の特定）。また、問題が特定できることで、最初にテストすべきページを決定するのにも役立ちます。

• 人間工学に基づいた評価
  これらの分析により、ユーザーがWebサイトをどのように体験しているかを理解することができます。

• ユーザーテスト
  サンプルサイズの制約によって制限されますが、ユーザーテストでは、定量的な方法では入手できない無数の情報を手に入れることができます。

• ヒートマップとセッションの記録
  ページ上またはページ間でのユーザー行動を簡単に可視化します。
• 顧客からのフィードバック
  企業は顧客から大量のフィードバックを収集しています（例えば、サイトに掲載された意見、カスタマーサービスへの質問など）。その分析は、顧客満足度調査またはライブチャットで実施できます。

ABテストは、コンバージョンの問題を特定し、ユーザーの行動を理解するために、追加情報で補完する必要があります。

この分析フェーズは非常に重要で、「強力な」仮説を立てるのに役立つものでなければなりません。正しく立てられた仮説は、ABテストを成功させるための最初のステップです。

仮説を立てる際の注意点：

• 原因が特定できる、明確な問題にリンクしていること
• その問題に対する実行可能な解決策に言及していること
• 期待される結果を示し、それが測定されるKPIに直接結びついていること

例えば、特定された問題が、長すぎると思われる登録フォームの放棄率の高さであった場合、仮説は次のようになります。
「フォームの任意項目を削除してフォームを短くすれば、フォーム離脱が低下しコンバージョン数が上がる。」

どんなABテストすべきか？この質問は、企業がコンバージョン率の良し悪しを判断できない場合に、何度も出てきます。

ユーザーが商品理解に苦労しているのが課題である場合、カートに入れるボタンの位置や色をわざわざテストする必要はありません。これはテーマから外れます。代わりに、顧客のメリットに関わるさまざまな表現をABテストします。

Webサイトの状況によって課題は異なります。テストすべき要素を網羅的にリストアップするのではなく、これらの要素を特定するためのABテストのフレームワークを提供します。

• タイトルとヘッダー
  まずは、記事のタイトルや内容を変えて、人を惹きつけることから始めます。形については、色やフォントを変えるだけでも効果があります。
• コールトゥアクション（CTA）
  コールトゥアクションは、とても重要なボタンです。色やコピー、使用する言葉の位置や種類（「買う」「カートに入れる」「注文する」など）によって、コンバージョン率に決定的な影響を与えます。
• フォーム
  明確で簡潔なフォームを作成することが重要です。フィールドのタイトルを変更したり、オプションフィールドを削除したり、フィールドの配置を変更したり、線や列を使ってフォーマットしたりすることができます。
• ナビゲーション
  1つまたはいくつかの部分で複数のコンバージョン経路を提供することで、さまざまなページ接続をテストすることができます。
• 画像
  画像はテキストと同じくらい重要です。さまざまな画像を試してみることをお勧めします。例えば、あなたが高価格帯アパレルのEコマースを行っているのであれば、商品だけの写真よりも、モデルに服を着せた写真がある方が人気であることを検証します。また、写真の大きさや美しさ（色相、彩度、明るさなど）、位置（右、左、上、下）なども工夫してみましょう。
• ページ構成
  トップページでもカテゴリーページでも、ページの構造は特によく練られている必要があります。カルーセルを追加したり、固定画像を選択したり、バナーを変更したり、トップページにいくつかの主力商品を提示したりできます。
• ランディングページ
  リードジェネレーション用のランディングページは、ユーザーに特定の行動を起こさせるために非常に重要です。スプリットテストを使えば、レイアウトやデザインを変えた完全な別バージョンのページを比較することができます。
• アルゴリズム
  類似記事や最も検索された商品など、さまざまなアルゴリズムを使用して、訪問者を顧客に変えたり、カート投入を増やしたりすることができます。潜在的な顧客に対して、彼らが興味を持ちそうなものを提案することができます。
• 価格設定
  価格に関するABテストはデリケートです。なぜなら、同じ商品やサービスを異なる価格で販売することはできないからです。コンバージョン率をテストする際には、ちょっとした工夫が必要になります。例えば、サービスを提供している場合は、選択肢を減らして低価格の商品を作ることができます。また、商品を販売する場合は、色や形、素材を変えて提供します。
• ビジネスモデル
  さらなる利益を生み出すためのアクションプランを考えてください。例えば、ターゲットとなる商品を販売しているのであれば、追加の商品や補完的なサービスを提供することで、多角化を図ることができます。

• 役に立たない要素をテストする

  どんなにABテストを繰り返しても、ビジネスへの影響度が低い要素では意味がありません。

  例えば、サイト訪問者の1％にしか閲覧されてないページや、ほとんどスクロールされない最下部のコンテンツなど、改善インパクトの低い要素はABテストの優先度を下げてください。

  「コンバージョンに最も近いページ」「トラフィックが集中しているページ」といった、ビジネスインパクトがある領域に集中することが重要です。

• 絞り込みすぎたターゲティング

  AB Tastyを使用すると、あらゆる条件を組み合わせた詳細なターゲティングが可能になり、さまざまなテストシナリオやクライアントの要望に柔軟に対応できます。

  一方で、ターゲットを絞り込みすぎると、テストのサンプル母数が減るため、統計的信頼性を得るまでのデータ収集に時間がかかるだけではなく、場合よっては時間をかけても適切な判断を下せない可能性もあります。

  テスト時間の浪費にならないよう、適正な母数を確保できるターゲティング設定をしてください。

• コンテキストを考慮せずにテストする

  サイト訪問者の行動に影響を与えるのはABテストだけではありません。例えば、ブラックフライデーなどのセール期間は普段よりコンバージョン率が高い傾向があるます。
  
  もちろん、ABテストなので同条件の中でのどちらがより優れているか検証はできますが、問題なのはセール期間中に勝利したパターンを通常販売期間に反映したときに同じインパクトが出るのか？という点です。本番反映したときに、実際の改善見込みとギャップが起きる可能性があります。
  
  そのため、この期間にテストを行わない、あるいは、より代表的な母集団にテストのターゲットを絞り、例えば、進行中の獲得キャンペーンによってサイトに到達した訪問者を除外したり、特定の商品にテストを限定したりすることで、回避してください。
  
  

• ページ全体のデザインを変更

  「デザインをリニューアルして、より効果的かどうかをテストする」という話はよくあります。しかし残念ながら、時間をかけて開発したバリエーションが、オリジナルより効果が低いケースも少なくありません。

  このような失敗を避け効率的な改善を行うためには、一度にページを完全に変更するのではなく、小さな要素から段階的にテストを行うことがポイントです。

  ABテストは継続的な改善アプローチに適しており、失敗のコストを抑え、パフォーマンスの違いにどの要素が影響しているのかを明確にできます。

  もし、リニューアルしたバリエーションでコンバージョン率が向上した場合でも、その改善に最も貢献したのは「どのような改善であったか」を特定することはできなくなります。

  この場合、ABテストの結果には満足するかもしれませんが、最も重要なユーザー自身について、またなぜより好意的な反応を示したのかについて、学ぶことはできません。

   

ABテストの分析フェーズが最も重要です。

ABテストツールには、少なくとも、各バリエーションで改善されたコンバージョン数、コンバージョン率、オリジナルと比較した改善率、各バリエーションで改善された統計的信頼性指数を示すレポートインターフェイスが必要です。

最も高度なものは、生データを絞り込み、ディメンション別（トラフィックソース、訪問者の地理的位置、顧客のタイプなど）に結果をセグメント化します。

ABテスト結果を分析する前に、主な問題は十分な統計的信頼性を得ることです。一般的には95%の閾値が採用されています。これは、バリエーション間の結果の違いが偶然によるものである可能性が非常に低いことを意味します。

この閾値に到達するまでの時間は、テストしたページのサイトトラフィック、測定した目的に対する初期コンバージョン率、修正の影響などによって大きく異なります。数日から数週間かかることもあります。トラフィックの少ないサイトでは、トラフィックの多いページをテストすることをお勧めします。閾値に達する前に結論を出すことは無意味です。

さらに、信頼度を算出するために使用される統計的検定（カイ二乗検定など）は、無限に近いサンプルサイズに基づいています。サンプルサイズが小さい場合には，たとえ検定で95%以上の信頼性が得られたとしても、結果の分析には注意が必要です。

サンプルサイズが小さい場合、テストをさらに数日間有効にしておくことで、結果が大きく変化する可能性があります。このため、十分な大きさのサンプルを用意することが望まれます。このサンプルのサイズを計算する科学的な方法がありますが（AB Tasty提供のABテスト計算機を使用）、実用的な観点からは、少なくとも5,000人の訪問者と75件のコンバージョンが保存されたサンプルを持つことが望ましいです。

統計的検定には2つのタイプがあります。

• フリークエンシーテスト
  カイ二乗法、またはフリークエンシー法は客観的です。それはあなたのテストの終わりにのみ結果の分析を可能にします。したがって、この研究は観察に基づいており、95％の信頼性があります。
• ベイズ法によるテスト
  ベイズ法は演繹的です。確率の法則から取得することにより、テストが終了する前に結果を分析できます。ただし、信頼区間を正しく読み取るようにしてください。

最後に、サイトトラフィックを使用すると、十分なサイズのサンプルをすばやく取得できますが、平日または時間帯によって観察される動作の違いを考慮して、テストを数日間アクティブにしておくことをお勧めします。最短で1週間、理想的には2週間が望ましいです。場合によっては、特に購入サイクルに時間がかかる製品（複雑な商品/サービスまたはB2B）にコンバージョンが関係する場合は、この期間がさらに長くなる可能性があります。そのため、テストの標準的な期間はありません。

• ABテストツールのデータの信頼性を確保する
  少なくとも1つのAAテストを実行して、異なるバージョンへのトラフィックのランダムな割り当てを確認します。これは、ABテストツールの指標とWeb分析プラットフォームの指標を比較する機会でもあります。これは、数値がほぼ一致していることを確認するためのもので、正確に一致させるためのものではありません。

• ABテスト開始前に設定や定義を確認する
  直感に反するような結果が出ていませんか？ABテストは正しく設定され、目的は正しく定義されましたか？多くの場合、受け入れテストに時間を割くことで、誤った結果を解釈するために費やしていた貴重な時間を節約することができます。

• 一度に1つの変数をテストします
  これにより、変数の影響を正確に分離することができます。アクションボタンの位置とそのラベルが同時に変更された場合、どの変更が影響したのかを特定することは不可能です。

• 一度に1つのテストを実施します
  上記と同じ理由で、テストは一度に1つだけ行うことをお勧めします。2つのテストを並行して実施すると、結果を解釈するのが難しくなります。
  

• バリエーションの数はトラフィック量に合わせる
  少ないトラフィックで多くのバリエーションを用意した場合、ABテストは非常に長く続き、すぐに結果を得ることができません。ABテストに割り当てられるトラフィックが少なければ少ないほど、一度に検証するバリエーションの数を絞る必要があります。
  

• 統計的な信頼性が得られるのを待ってから行動する
  ABテストの統計的信頼性が少なくとも95%に達していない限り、何らかの決定を下すことはお勧めできません。観察された結果の違いが、変更によるものではなく偶然によるものである可能性が非常に高いからです。

• ABテストを十分に長く実行させます
  ABテストがすぐに統計的な信頼性を示したとしても、サンプルのサイズや曜日による行動の違いを考慮する必要があります。最低でも1週間、理想的には2週間はテストを実施し、バリエーションごとに少なくとも5,000人の訪問者と75件のコンバージョンを記録することが理想です。
  

• ABテストをいつ終了するかを知る
  テストの信頼度が95%に達するまでに時間がかかりすぎる場合、テストした要素が測定指標に影響を与えていない可能性があります。この場合、テストを続けることは無意味です。なぜなら、別のテストに使用できるトラフィックの一部を不必要に独占してしまうからです。
  

• 複数の指標を測定する
  ABテストの際には、複数の目的で測定することをお勧めします。バリエーションを決定するための1つの主目的と、結果の分析を充実させるための副目的です。これらの指標には、クリック率、カート追加率、コンバージョン率、平均カート数などがあります。
  

• ABテスト中のマーケティング活動に注意してください
  ABテストの結果は、外部の要因によって改ざんされることがあります。トラフィック獲得キャンペーンでは、通常とは異なる行動をとるユーザーが集まることがよくあります。このようなテストやキャンペーンを検知することで、副次的な影響を抑えることが望ましいです。
  

• セグメントテスト
  サイト内のすべてのユーザーを対象にテストを行うことが無意味な場合があります。例えば、様々な顧客メリットがサイトの登録率に与える影響を測定するテストの場合、現在の登録ユーザーのデータベースを提出しても効果はありません。代わりに、新規訪問者を対象としたテストを行うべきです。