ABテスト完全ガイド

ABテスト実行のための完全ガイドです。ABテストとは何か、テストの設定方法、ベストプラクティス、事例などをご紹介します。

 

1.ABテストとは

ABテストは、スプリットテストとも呼ばれ、Webページまたはアプリケーションの2つのバリエーション比較して、どちらが優れているかを確認するマーケティング手法です

AおよびBのバリエーションは、ユーザーにランダムに表示されます。次に、結果の統計分析により、コンバージョン率などの特定の事前定義された指標に従って、AまたはBのどちらのバージョンのパフォーマンスが優れているかが判断します。

例えば、クリック数・購入数・購読数などが最も多いバージョンを確認し、コンバージョン最大化のためにWebサイトを最適化することができます。

ABテストの実施イメージ

2.ABテストの例

ABテストに特効薬はなく、各社の事例は各Webサイト固有の課題に合わせた結果でしかありません。次のABテストのアイデアのヒントとして活用してください。


ロイヤリティプログラムのABテストで登録を29%増やしたDanone事例
ログインページABテストで収益が15%増加したランコム事例
LushのABテストを活用したデジタル顧客体験の最適化事例

 

3.ABテストをすべきWebサイトとは?

すべてのWebサイトには「存在する理由/目的」があり、定量化できるため、ABテストを実施すべきです。オンラインショップでも、ニュースサイトでも、リードジェネレーションサイトでも、どのような種類のコンバージョンであれ、コンバージョン率の向上を目指しているからです。

リード(見込み顧客)

「リード」とは、セールスリード、つまり見込み顧客という意味で使われます。この場合、ABテストでは、性別や年齢層など、接触した人の性質に関する情報を利用します。

メディア

メディアの世界では、「エディトリアルABテスト」という言葉の方が適切です。

報道機関と密接な関係にある業界では、ABテストの背景にある考え方は、特定のコンテンツカテゴリーの成功をテストすることです(例えば、ターゲットとなる視聴者にぴったり合うかどうかを確認するなど)。

ここでは、上記の例とは異なり、ABテストには営業的な機能ではなく、編集的な機能があります。コンテンツの見出しのABテストは、メディア業界では一般的に行われています。

Eコマース

Eコマースの分野でABテストを使用する目的は、Webサイトやオンライン商業アプリにおいて平均注文額や商品販売数を最大化することです。

ABテストでは、販売数をもとに、どのバージョンが最も優れているかを判断します。特に、トップページや商品ページのデザインが重要ですが、購入に至るまでのビジュアル要素(ボタンやコールトゥアクション)も考慮する必要があります。

 

4.どのようなABテストを行うべきか?

ABテストにはいくつかの種類があります。状況に応じて、最適なものを選択してください。

  • 基本的なABテスト
    同じURLで2つのバリエーションのページをユーザーに提示します。これにより、同じ要素の2つまたは複数のバリエーションを比較することができます。

  • スプリットテストまたはリダイレクトテスト
    スプリットテストでは、トラフィックを1つまたは複数の異なるURLにリダイレクトします。サーバー上で新しいページをホスティングしている場合、これは効果的なアプローチです。

  • 多変量テスト
    多変量テスト は、同じWebページに対する複数の変更の影響を測定します。たとえば、バナー、テキストの色、コンテンツ要素などを変更できます。

技術面では、以下のことができます。

  • WebサイトでABテスト
    WebでのABテストは、あるページのバージョンAとBを比較することができます。ABテストでは、AバージョンとBバージョンのページを比較し、その結果を、クリック数・購入数・購読数など、あらかじめ設定した目的に応じて分析します。

  • ネイティブモバイルiPhoneまたはAndroidアプリケーションでABテスト
    アプリケーションの場合、ABテストはより複雑になります。スマートフォンにアプリケーションをダウンロードして展開した後に、2つの異なるバージョンを提示することができないからです。しかし、アプリケーションを即座に更新するための回避策は存在します。デザインを簡単に変更して、その影響を直接分析することができます。

  • APIを利用したサーバーサイドABテスト
    APIとは、データ交換のためにアプリケーションとの接続を可能にするプログラミング・インターフェースのことです。APIを利用することで、保存されたデータから自動的にキャンペーンやバリエーションを作成することができます。

AB TastyなどのABテストツールを使用して、複数のデバイスでテストすることができます。

ABテストの例

AB Tastyの機能詳細は資料をご覧ください

 

5.ABテストとコンバージョン最適化

ABテストとコンバージョン最適化は、企業が利益を上げるための方法で、「同じ量のトラフィックでより多くの収益を上げる」というシンプルなものです。

獲得コストの高さや複雑なトラフィックソースを考慮すると、まずは現在のトラフィックを最大限に活用することから始めてみてください、

ABテストに精通したAmazon

Eコマースサイトの平均コンバージョン率は1%から3%の間で推移しています。なぜでしょうか?

コンバージョンは、生成されたトラフィックの質、顧客体験、オファーの質、Webサイトの評判、さらには競合他社の動向など、さまざまな要因に左右されます。上記の要素が、消費者に与える悪影響を最小限に抑えるためにはさまざまな方法がありますが、ABテストはデータを使用して最善の決定を下すのに役立ちます。

ABテストは、より広範なコンバージョン最適化戦略を確立するために役立ちますが、それだけでは決して十分ではありません。 ABテストツールは、特定の仮説を統計的に検証することはできますが、それだけではユーザーの行動を高度に理解することはできません。しかし、ユーザーの行動を理解することは、コンバージョンに関する問題を理解するための鍵であることは確かです。

そのため、ABテストに他の手段による情報を加えていくことが重要です。そうすることで、ユーザーをより深く理解することができますし、何よりもテストの仮説を立てるのに役立ちます。

  • Web分析データ
    このデータだけでは、ユーザー行動の可視化はできませんが、コンバージョンにおけるボトルネックを特定できます(たとえば、ショッピングカートの放棄の特定)。また、問題が特定できることで、最初にテストすべきページを決定するのにも役立ちます。

  • 人間工学に基づいた評価
    これらの分析により、ユーザーがWebサイトをどのように体験しているかを理解することができます。

  • ユーザーテスト
    サンプルサイズの制約によって制限されますが、ユーザーテストでは、定量的な方法では入手できない無数の情報を手に入れることができます。

  • ヒートマップとセッションの記録
    ページ上またはページ間でのユーザー行動を簡単に可視化します。
  • 顧客からのフィードバック
    企業は顧客から大量のフィードバックを収集しています(例えば、サイトに掲載された意見、カスタマーサービスへの質問など)。その分析は、顧客満足度調査またはライブチャットで実施できます。

 

6.ABテストのアイデアを見つける方法

ABテストは、コンバージョンの問題を特定し、ユーザーの行動を理解するために、追加情報で補完する必要があります。

この分析フェーズは非常に重要で、「強力な」仮説を立てるのに役立つものでなければなりません。正しく立てられた仮説は、ABテストを成功させるための最初のステップです。

仮説を立てる際の注意点:

  • 原因が特定できる、明確な問題にリンクしていること
  • その問題に対する実行可能な解決策に言及していること
  • 期待される結果を示し、それが測定されるKPIに直接結びついていること

例えば、特定された問題が、長すぎると思われる登録フォームの放棄率の高さであった場合、仮説は次のようになります。
「フォームの任意項目を削除してフォームを短くすれば、フォーム離脱が低下しコンバージョン数が上がる。」

ABテストツール

 

7.Webサイトで何をABテストすべきか?

どんなABテストすべきか?この質問は、企業がコンバージョン率の良し悪しを判断できない場合に、何度も出てきます。

ユーザーが商品理解に苦労しているのが課題である場合、カートに入れるボタンの位置や色をわざわざテストする必要はありません。これはテーマから外れます。代わりに、顧客のメリットに関わるさまざまな表現をABテストします。

Webサイトの状況によって課題は異なります。テストすべき要素を網羅的にリストアップするのではなく、これらの要素を特定するためのABテストのフレームワークを提供します。

  • タイトルとヘッダー
    まずは、記事のタイトルや内容を変えて、人を惹きつけることから始めます。形については、色やフォントを変えるだけでも効果があります。
  • コールトゥアクション(CTA)
    コールトゥアクションは、とても重要なボタンです。色やコピー、使用する言葉の位置や種類(「買う」「カートに入れる」「注文する」など)によって、コンバージョン率に決定的な影響を与えます。
  • フォーム
    明確で簡潔なフォームを作成することが重要です。フィールドのタイトルを変更したり、オプションフィールドを削除したり、フィールドの配置を変更したり、線や列を使ってフォーマットしたりすることができます。
  • ナビゲーション
    1つまたはいくつかの部分で複数のコンバージョン経路を提供することで、さまざまなページ接続をテストすることができます。
  • 画像
    画像はテキストと同じくらい重要です。さまざまな画像を試してみることをお勧めします。例えば、あなたが高価格帯アパレルのEコマースを行っているのであれば、商品だけの写真よりも、モデルに服を着せた写真がある方が人気であることを検証します。また、写真の大きさや美しさ(色相、彩度、明るさなど)、位置(右、左、上、下)なども工夫してみましょう。
  • ページ構成
    トップページでもカテゴリーページでも、ページの構造は特によく練られている必要があります。カルーセルを追加したり、固定画像を選択したり、バナーを変更したり、トップページにいくつかの主力商品を提示したりできます。
  • ランディングページ
    リードジェネレーション用のランディングページは、ユーザーに特定の行動を起こさせるために非常に重要です。スプリットテストを使えば、レイアウトやデザインを変えた完全な別バージョンのページを比較することができます。
  • アルゴリズム
    類似記事や最も検索された商品など、さまざまなアルゴリズムを使用して、訪問者を顧客に変えたり、カート投入を増やしたりすることができます。潜在的な顧客に対して、彼らが興味を持ちそうなものを提案することができます。
  • 価格設定
    価格に関するABテストはデリケートです。なぜなら、同じ商品やサービスを異なる価格で販売することはできないからです。コンバージョン率をテストする際には、ちょっとした工夫が必要になります。例えば、サービスを提供している場合は、選択肢を減らして低価格の商品を作ることができます。また、商品を販売する場合は、色や形、素材を変えて提供します。
  • ビジネスモデル
    さらなる利益を生み出すためのアクションプランを考えてください。例えば、ターゲットとなる商品を販売しているのであれば、追加の商品や補完的なサービスを提供することで、多角化を図ることができます。

AB Tastyの機能詳細は資料をご覧ください

 

8.ABテストでよくある失敗

  • 役に立たない要素をテストする

    どんなにABテストを繰り返しても、ビジネスへの影響度が低い要素では意味がありません。

    例えば、サイト訪問者の1%にしか閲覧されてないページや、ほとんどスクロールされない最下部のコンテンツなど、改善インパクトの低い要素はABテストの優先度を下げてください。

    「コンバージョンに最も近いページ」「トラフィックが集中しているページ」といった、ビジネスインパクトがある領域に集中することが重要です。

  • 絞り込みすぎたターゲティング

    AB Tastyを使用すると、あらゆる条件を組み合わせた詳細なターゲティングが可能になり、さまざまなテストシナリオやクライアントの要望に柔軟に対応できます。

    一方で、ターゲットを絞り込みすぎると、テストのサンプル母数が減るため、統計的信頼性を得るまでのデータ収集に時間がかかるだけではなく、場合よっては時間をかけても適切な判断を下せない可能性もあります。

    テスト時間の浪費にならないよう、適正な母数を確保できるターゲティング設定をしてください。

  • コンテキストを考慮せずにテストする

    サイト訪問者の行動に影響を与えるのはABテストだけではありません。例えば、ブラックフライデーなどのセール期間は普段よりコンバージョン率が高い傾向があるます。

    もちろん、ABテストなので同条件の中でのどちらがより優れているか検証はできますが、問題なのはセール期間中に勝利したパターンを通常販売期間に反映したときに同じインパクトが出るのか?という点です。本番反映したときに、実際の改善見込みとギャップが起きる可能性があります。

    そのため、この期間にテストを行わない、あるいは、より代表的な母集団にテストのターゲットを絞り、例えば、進行中の獲得キャンペーンによってサイトに到達した訪問者を除外したり、特定の商品にテストを限定したりすることで、回避してください。

  • ページ全体のデザインを変更

    「デザインをリニューアルして、より効果的かどうかをテストする」という話はよくあります。しかし残念ながら、時間をかけて開発したバリエーションが、オリジナルより効果が低いケースも少なくありません。

    このような失敗を避け効率的な改善を行うためには、一度にページを完全に変更するのではなく、小さな要素から段階的にテストを行うことがポイントです。

    ABテストは継続的な改善アプローチに適しており、失敗のコストを抑え、パフォーマンスの違いにどの要素が影響しているのかを明確にできます。

    もし、リニューアルしたバリエーションでコンバージョン率が向上した場合でも、その改善に最も貢献したのは「どのような改善であったか」を特定することはできなくなります。

    この場合、ABテストの結果には満足するかもしれませんが、最も重要なユーザー自身について、またなぜより好意的な反応を示したのかについて、学ぶことはできません。

     

 

9.ABテストの統計を理解する

ABテストの分析フェーズが最も重要です。

ABテストツールには、少なくとも、各バリエーションで改善されたコンバージョン数、コンバージョン率、オリジナルと比較した改善率、各バリエーションで改善された統計的信頼性指数を示すレポートインターフェイスが必要です。

最も高度なものは、生データを絞り込み、ディメンション別(トラフィックソース、訪問者の地理的位置、顧客のタイプなど)に結果をセグメント化します。

ABテスト結果を分析する前に、主な問題は十分な統計的信頼性を得ることです。一般的には95%の閾値が採用されています。これは、バリエーション間の結果の違いが偶然によるものである可能性が非常に低いことを意味します。

この閾値に到達するまでの時間は、テストしたページのサイトトラフィック、測定した目的に対する初期コンバージョン率、修正の影響などによって大きく異なります。数日から数週間かかることもあります。トラフィックの少ないサイトでは、トラフィックの多いページをテストすることをお勧めします。閾値に達する前に結論を出すことは無意味です。

さらに、信頼度を算出するために使用される統計的検定(カイ二乗検定など)は、無限に近いサンプルサイズに基づいています。サンプルサイズが小さい場合には,たとえ検定で95%以上の信頼性が得られたとしても、結果の分析には注意が必要です。

サンプルサイズが小さい場合、テストをさらに数日間有効にしておくことで、結果が大きく変化する可能性があります。このため、十分な大きさのサンプルを用意することが望まれます。このサンプルのサイズを計算する科学的な方法がありますが(AB Tasty提供のABテスト計算機を使用)、実用的な観点からは、少なくとも5,000人の訪問者と75件のコンバージョンが保存されたサンプルを持つことが望ましいです。

統計的検定には2つのタイプがあります。

  • フリークエンシーテスト
    カイ二乗法、またはフリークエンシー法は客観的です。それはあなたのテストの終わりにのみ結果の分析を可能にします。したがって、この研究は観察に基づいており、95%の信頼性があります。
  • ベイズ法によるテスト
    ベイズ法は演繹的です。確率の法則から取得することにより、テストが終了する前に結果を分析できます。ただし、信頼区間を正しく読み取るようにしてください。

最後に、サイトトラフィックを使用すると、十分なサイズのサンプルをすばやく取得できますが、平日または時間帯によって観察される動作の違いを考慮して、テストを数日間アクティブにしておくことをお勧めします。最短で1週間、理想的には2週間が望ましいです。場合によっては、特に購入サイクルに時間がかかる製品(複雑な商品/サービスまたはB2B)にコンバージョンが関係する場合は、この期間がさらに長くなる可能性があります。そのため、テストの標準的な期間はありません。

10.ABテストのヒントとベストプラクティス

以下は、トラブルに遭遇するのを防ぐのに役立ついくつかのベストプラクティスです。

AB Tastyで成長を加速させる

サービス概要資料はこちらからダウンロードできます

お電話でのお問い合わせはこちら
03-5989-0494
平日9:30-18:30
株式会社ギャプライズAB Tasty担当まで。