Google Optimizeのテスト期間とサンプル数について

データを待っています
これは、エラー メッセージではありません。データ収集と処理のタイミングはサービスによって異なるため(Google AnalyticsとGoogle Optimize)、データが収集されてからオプティマイズで処理されるまでには若干のタイムラグが生じます。
オプティマイズで最初の分析結果を確認できるようになるまでには、1～2 日ほどかかります。表の [アクティブなユーザー数] 列では、テストが正常にユーザーに表示されていることを確認できます。この列には、[開始] ボタンのクリック直後から、テストページを訪れたアクティブなユーザーの数がリアルタイムで表示されます。

テスト セッションがありません
テスト セッションが受信されていない場合に表示されます。これは、エラーが発生していることを示しています。テスト自体の設定や、タグの実装状況の確認を行い解決が必要となります。以下の4つの点で調査をします。

– Google Optimizeタグの実装状況の診断
– Google OptimizeとGoogle Analyticsのプロパティーの連携
– Google Optimizeのページのターゲティングルールの確認(テスト対象のページ指定ルールが間違っている)
– Google Optimizeのオーディエンスターゲティングルールの確認(該当のユーザがいない)

テスト セッションが不十分です
テスト セッションは発生していますが、すべてのパターンを分析できるだけの十分なデータが集まっていない場合に表示されます。オプティマイズでは、1 日あたり 1 つのパターンに対して少なくとも 1 つのテスト セッションが必要です。一部のページにターゲティングの問題があるか、比重の設定により各パターンに十分なトラフィックが割り当てられていないことが考えられます。たとえば、あるパターンに 100% のトラフィックが割り当てられ、オリジナルに分配されるトラフィックが 0% になっている場合があります。この場合は、パターンの比重を調整して、問題を解決してください。

1 つのパターンにすべてのトラフィックを送信したい場合は、パターンではなく、カスタマイズを作成してください。

テストを続けてください
このメッセージは、次の 2 つの場合に表示されます。

1. Google Optimizeでは、少なくとも 2 週間分のデータが収集されるまで、テスト結果の報告は行われません。ウェブ トラフィックの変動周期が 1 週間であることを考慮して、トラフィック量が多いサイトでも、2 週間以上テストを実施する必要があります。
2. 現在収集されているデータは、精度の高いテスト結果を提供するには不十分であるため、さらに多くのデータを集める必要があります。テストが現在実行中であれば、そのまま続行することをおすすめします。少なくとも 1 つのパターンで「オリジナルを上回る確率（PBO）」が 95% に達するまでテストを続けてください。
このステータスメッセージが表示されているが、どうしても次のテストを行いたい場合、曜日変動の影響を受けないように1週間単位で、検証担当ディレクターがテストの終了を判断することがあります。ベイズ検定は最小必要サンプル数がありませんが、ベースを95%上回る結果がない場合に、2週間以上経過していてもこのメッセージが表示続けます。2週間たって、目標値に有意な差があると判定した場合はテストの停止を検討しましょう。

リーダーが見つかりませんでした
データが十分に収集され、リーダーは存在しない（パターンもオリジナルもリーダーではない）との結論が導き出されると、このメッセージが表示されます。これは、パターンをデプロイまたは実装しても、その成果はオリジナルとほとんど変わりないことを意味しています。これ以上続行しても結果が変わる可能性は低いため、このテストはここで中止して、新しいテストを行うことをおすすめします。

少なくとも 1 つのパターンがオリジナルよりも優れています
オリジナルを上回るパターンが 1 つ以上見つかっているものの、最善のパターンを特定するにはデータが不足している場合に表示されます。この場合は、（1）最善である確率が最も高いパターンをデプロイするか、（2）テストを続行して、最も優れたパターンが見つかるまで待つことができます。
むやみに、サンプル数を増やすことは推奨しないため、明らかに（１）を選定できる状態でなければ、結果の優劣は参考程度に活用しましょう。

オリジナルがリーダーです
オリジナルより優れたパターンが見つからなかった場合に表示されます。この場合は、パターンを採用せず、オリジナルをそのまま使用する方がよいでしょう。これ以上続行しても結果が変わる可能性は低いため、このテストはここで中止して、新しいテストを行うことをおすすめします。

1 つ以上のリーダーが見つかりました
データが十分に収集され、1 つ以上のパターンがオリジナルよりも優れているとの結論が導き出されると、このメッセージが表示されます。収集されたデータを基に、最善のパターンも特定されます。この場合は、「最善である確率（PBB）」が最も高いパターン、または現在のオリジナルよりも優れていると判断された他のいずれかのパターンをデプロイできます。これ以上続行しても結果が変わる可能性は低いため、このテストはここで中止することをおすすめします。

「Aパターン」がリーダーです
データが十分に収集され、1 つのパターンのみがオリジナルより優れているとの結論が導き出されると、このメッセージが表示されます。この場合は、リーダーのパターンをサイトにデプロイまたは実装してください。これ以上続行しても結果が変わる可能性は低いため、このテストはここで中止することをおすすめします。

– 2週間が経過する（ウェブトラフィックの変動周期が1週間であることを考慮）

– 1つ以上のパターンについて、ベースラインを上回る確率が95%に達する