論文の概要: Ensuring Trustworthy Online A/B Testing: Addressing Five Key Questions on CUPED
- arxiv url: http://arxiv.org/abs/2606.18750v1
- Date: Wed, 17 Jun 2026 06:53:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:51.039044
- Title: Ensuring Trustworthy Online A/B Testing: Addressing Five Key Questions on CUPED
- Title（参考訳）: 信頼できるオンラインA/Bテストの保証: CUPEDに関する5つの重要な質問に答える
- Authors: Yu Zhang, Bokui Wan, Yongli Qin, Jinyong Ma, Yifan Guo,
- Abstract要約: プレ実験データを用いた制御実験(CUPED)は, 平均処理効果を推定する不偏性を維持しつつ, 実質的な分散低減を実現する技術である。
本稿では、CUPEDの適用に関して、頻繁に遭遇するが見落とされた5つの疑問を体系的に解決する。
- 参考スコア（独自算出の注目度）: 3.745887419579526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A/B testing has become the gold standard for data-driven decision-making in large-scale online experimentation, providing critical guidance for feature launch, pricing optimization, and user experience enhancement. To maximize statistical sensitivity, many technology companies routinely employ Controlled-experiment Using Pre-Experiment Data (CUPED), a technique that achieves substantial variance reduction while preserving the unbiasedness of estimating the average treatment effect. Despite its widespread adoption, several critical methodological and practical nuances of CUPED remain underexplored. This paper systematically addresses five frequently encountered yet overlooked questions regarding the application of CUPED. First, we provide a comparative analysis of various post-CUPED estimators to identify the optimal adjustment specification. Second, we evaluate the validity of regression-based adjustments and delineate robust variance estimation methods tailored for such frameworks. Finally, we extend our investigation to complex but common scenarios, including multi-arm experiments and two-stage sampling designs. Our findings reveal that in these settings, naive reliance on standard variance estimators can lead to severely misleading inferences. By offering rigorous theoretical insights and extensive experimental validation, this work deepens the conceptual understanding of CUPED. Notably, the recommended methodologies have been successfully deployed and integrated into ByteDance's experimentation platform.
- Abstract（参考訳）: A/Bテストは、大規模オンライン実験におけるデータ駆動意思決定のゴールドスタンダードとなり、機能ローンチ、価格最適化、ユーザーエクスペリエンス向上のための重要なガイダンスを提供している。
統計感度を最大化するために、多くの技術企業は、平均処理効果を推定する不偏性を維持しつつ、実質的なばらつき低減を実現する技術であるCUPEDを用いた制御実験を日常的に採用している。
広く採用されているにもかかわらず、CUPEDのいくつかの重要な方法論と実践的なニュアンスはまだ未解明のままである。
本稿では、CUPEDの適用に関して、頻繁に遭遇するが見落とされた5つの疑問を体系的に解決する。
まず、最適調整仕様を特定するために、様々なCUPED後推定器の比較分析を行う。
第2に、回帰に基づく調整の有効性を評価し、そのようなフレームワークに適したロバストな分散推定手法を導出する。
最後に、マルチアーム実験や2段階サンプリング設計など、複雑だが一般的なシナリオについて調べる。
以上の結果から, 標準分散推定器への依存度は, 重大な誤解を招く可能性が示唆された。
厳密な理論的洞察と広範な実験的検証を提供することで、この研究はCUPEDの概念的理解を深める。
特に、推奨された方法論は、ByteDanceの実験プラットフォームにうまくデプロイされ、統合されています。
関連論文リスト
- Unifying On- and Off-Policy Variance Reduction Methods [8.291484471359633]
オンラインの標準差分平均推定器は,非政治的逆比重推定器と数学的に同一であることを示す。
この統合を拡張して、広範回帰補正法は2倍ロバスト推定と構造的に等価であることを示す。
論文 参考訳（メタデータ） (2026-03-09T13:32:39Z) - CausalCompass: Evaluating the Robustness of Time-Series Causal Discovery in Misspecified Scenarios [17.11442807888366]
Causalは、時系列因果発見法の堅牢性を評価するために設計されたベンチマークスイートである。
我々は8つの仮定違反シナリオにまたがる代表的なTSCDアルゴリズムの広範なベンチマークを行う。
様々なシナリオで優れた全体的なパフォーマンスを示す方法は、ほとんどディープラーニングベースのアプローチである。
論文 参考訳（メタデータ） (2026-02-08T11:27:06Z) - Practical Improvements of A/B Testing with Off-Policy Estimation [51.25970890274447]
従来の手法よりも分散度を低くする非バイアスのオフ・ポリティクス推定器のファミリーを導入する。
提案手法の有効性と実用性を理論的に検証した。
論文 参考訳（メタデータ） (2025-06-12T13:11:01Z) - Post Launch Evaluation of Policies in a High-Dimensional Setting [4.710921988115686]
A/Bテスト(A/B test)またはランダム化制御実験(RCTs)は、新しいポリシー、製品、決定の影響を評価するための金の標準である。
本稿では「合成制御」にインスパイアされた方法論の適用に関する実践的考察を考察する。
合成制御法は、影響を受けていない単位からのデータを利用して、処理された単位に対する対実的な結果を推定する。
論文 参考訳（メタデータ） (2024-12-30T19:35:29Z) - Adapting Prediction Sets to Distribution Shifts Without Labels [16.478151550456804]
我々は、共形予測(CP)と呼ばれる標準設定値予測フレームワークに焦点を当てる。
本稿では, シフトテスト領域からのラベルなしデータのみを用いて, 実用性を向上させる方法について検討する。
提案手法は,既存のベースラインよりも一貫した改善を実現し,完全教師付き手法の性能にほぼ一致することを示す。
論文 参考訳（メタデータ） (2024-06-03T15:16:02Z) - Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。
学習シナリオにおける同値性に基づく単一のフレームワークを提案する。
我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
論文 参考訳（メタデータ） (2024-05-09T12:52:22Z) - Adaptive Instrument Design for Indirect Experiments [48.815194906471405]
RCTとは異なり、間接的な実験は条件付き機器変数を利用して治療効果を推定する。
本稿では,データ収集ポリシーを適応的に設計することで,間接実験におけるサンプル効率の向上に向けた最初のステップについて述べる。
我々の主な貢献は、影響関数を利用して最適なデータ収集ポリシーを探索する実用的な計算手順である。
論文 参考訳（メタデータ） (2023-12-05T02:38:04Z) - Rapid and Scalable Bayesian AB Testing [0.0]
本稿では,現在のAB試験手法の限界に対処するため,階層ベイズ推定を適用した手法を提案する。
因子間の相関を利用して統計的パワーを高め、逐次テストと進行早期停止を可能にする。
また、過去のABテストから複合グローバルラーニングを抽出できるように、この方法論をどのように拡張できるかを実証する。
論文 参考訳（メタデータ） (2023-07-27T05:08:49Z) - A Double Machine Learning Approach to Combining Experimental and Observational Data [58.05402364136958]
実験と観測を組み合わせた二重機械学習手法を提案する。
本フレームワークは, より軽度な仮定の下で, 外部の妥当性と無知性に対するファルシフィケーションテストを提案する。
論文 参考訳（メタデータ） (2023-07-04T02:53:11Z) - Improved Policy Evaluation for Randomized Trials of Algorithmic Resource
Allocation [54.72195809248172]
提案する新しい概念を応用した新しい推定器を提案する。
我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
論文 参考訳（メタデータ） (2023-02-06T05:17:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。