GA4/ABテストツールの選定

はじめに
検討時の視点
1. 前提
2. 選定フロー
選定 / チェックリスト
ABテストツール
さいごに
＊Appendix

はじめに

2023年初めに、Google Optimize（グーグルオプティマイズ）が2023年9月30日をもってサービス終了することが発表されました。

https://support.google.com/optimize/answer/12979939

　こんなに優秀なサービスが終了するなんてもったいないと思いましたが、時代の流れには逆らえなかったのでしょう。Googleサポートページには、サポート終了とございますが、実質サンセット（サービス終了）の事です。
　当時、代わりになる新しいABテストツールの提供をGoogleがするのか、しないのかという議論が巻き起こりましたが、特にその後、これについてはアナウンスはございません。
　Google OptimizeはGoogle Marketing Platformに含まれ、Google Analyticsと強固な連携が実現できておりました。GAタグとOptimizeタグをダブルタギングする必要なく（1部のスニペット（タグ）を除いて）、GAで計測、設定している指標や、セグメントが利用できます。またテスト結果をGAでも確認ができるので、GAのディメンションとクロス集計（セカンダリーディメンション）したり、セグメントが利用できるのがメリットでした。また、初めて「ビジュアルエディタ」を使ったときの感動は今でも覚えています。
　さて、もし自分がGoogle Optimizeの代わりになるABテストツールを選定しないといけない立場であったら、どういう視点で事業会社/サービス内のニーズをヒアリングし、外部のABテストツールの選定をするか。という点についてまとめておきます。

検討時の視点

前提

　私は広告のLPやクリエイティブの形や色、場所などを何パターンが準備してCTRやCTRを上げる評価をするよりも、機能、体験などを追加、削除、変更して、都度施策ごとにKPI（狙い）を定義する業務で利用することを想定しています。勿論、前者のクリエイティブ評価も可能なので参考にしてください

選定フロー

　自身がABテスト設計から計測、評価、ネクストアクションまで担当するケースが多かったので、自分で使う事を前提に探しているという視点が強いと思いますが、基本的には、データサイエンティストがいなくても、フレームワークさえ準備しておけば、ビジネス職の人がエンジニアと一緒に回せる事を念頭に考えます。

①ヒアリング

部署にニーズヒアリング
エンジニアへの技術的な確認
Data Management部署が管轄していう分析プラットフォームの確認

②運用

テスト以外のデータをどこでマージして分析、評価に使うか。
施策の管理（アーカイブ一覧や検索機能など）どこで行うか。
アイデア、クリエイティブ、分析結果や、フローなどのドキュメンテーションの置き場所
権限（アクセス、追加、承認、リリース、開始、ストップなど）
登場人物（承認とプレイヤー）のリストアップと責任について
データサイエンティストの参加トリガーと期待されるアウトプット

③タイムライン

スモールスタートフェーズと最終フェーズの運用、システム構成を提示し、最終的に横展開できるくらいの運用フローを構築するところをゴールに置く
この内容を他部署、チームで１から構築できる人材を育てる
（そういう組織、仕組みがあれば）最終的にシステム、データ、運用環境ともに内制できることをスコープに入れる

選定 / チェックリスト

　ABテストツール、LP改善ツールの領域で使っていくのか、サービス全体の機能（パーソナライズ機能、リリースマネージメント機能など）として使っていくのか。利用するプラットフォームのケーパビリティと相談しながら、決めていく必要があります。自社のニーズと世の中のサービスをマッチングさせることが仕事になります。
　専門的で高度なニーズが出てこない可能性があります。高度な要件を満たす事よりも「使いやすいさ」や「効果が出やすい」必要があります。
　とはいえ、データアナリストとしてABテストとして「できることを、やるべき事」を提示した上でニーズと優先順位を聞いて選定をしていくとよいと思います。ニーズを満たすだけですとどうしても将来性のない選択をしてしまう可能性が出てきてしまいます。

将来的にアプリデバイスサービスでも利用していくか
リリースマネージメントをしたいか
- 目的：リリースに伴う影響度合いを段階的に確認することで不具合やユーザーの評価やKPIの急激な低下なども確認をしていくこと
- 使い方：5%にリリース。この5%だけでKPIや動作、ユーザの意見（SNSから拾う）を確認してリリースに問題なければ50%、100%とリリースを行う
Optimizeにあったような「ビジュアルエディタ」の有無
有意差検定機能がついているか（検定、評価の仕方）
必要な機能を有しているか。
- ABテスト／マルティバリエイト／パーソナライズ
GA4との連携（レポート、指標の活用など）
- GTMとの連携実績（タグのテンプレートがあるかなど）
- GA4で作ったオーディエンス、イベントを利用できるか
- GAとABテストツール両方にクライアントからデータを送信するのか、裏でデータ連携が可能なのか
リアルタイム性（計測、レポート集計、評価など）
ユーザー管理権限（社内のデータガバナンスを考慮できるか）
自社のデータを取り込めるか（ユーザーリストなど）
レポート機能（見たいと思えるかは結構重要です）※フィルター、セグメントなど
コラボレーション機能（ABテストはナレッジ共有や、意見の出し合い、プランから実施、評価、振り返りをどのようにアーカイブ化してABテストナレッジを組織に貯めていけるかは結構重要です）
GA4、自社CDP、DMPと連携をした際にどのようなプライバシーへの対応が必要になってくるか (3rd Partyツール連携のため）

ABテストツール

さいごに

PdMの業務内容として、ABテストという言葉が適切かは何とも言えませんが、施策をサービスへ反映させる手順に、このステップは必ず入れる良いです。仮説や目標をもって、既存のサービスに施策を反映した際にユーザがどのような行動変化を起こすのか。定量的にも定性的にもユーザーのセグメント毎に理解をしていくことが大事です。そして中長期的にユーザの変化がどのように変わってきたかを長い期間をもってモニタリング、評価していく仕組みも将来的には準備していけると良いと思います。
　今日テストした施策は、施策接触後は嫌悪感があるかもしれませんが、長く使っていくと素晴らしいものであったりします。その逆もしかりです。
　テスト（実験）は特定の条件で現状を再現する1つの手段でしかなく、結果の扱い方については、経験と特別な理由から少しづつオリジナルティが出てきます。定量的な評価は絶対だ！とならないように色々な視点でデータやユーザの声を拾って評価をしていく必要があります。
　そのためには、この実験（ABテスト）業務は誰にとっても簡単で嫌がらずに間違わないように実施できる環境があると良いと思います。
　データサイエンティストが忙しいから、リリースまでの期間が2倍になるから、この業務をスキップしたい！と思われないような環境、文化を作っていきましょう。
　実験は「勝ち施策を産み出す時間ではなく、ユーザーを理解し、より革新的なアイデアを産む時間」です。そのためには「言語化された仮説」が必要です。それがないと「適切な評価ができない」からです。