論文の概要: Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap
- arxiv url: http://arxiv.org/abs/2607.14604v1
- Date: Thu, 16 Jul 2026 06:08:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.007661
- Title: Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap
- Title（参考訳）: 実測によるA/Bテストの高速化:政策オーバーラップによる変数の削減
- Abstract要約: 標準A/Bテストプロトコルにおける重要な非効率性を同定する。
治療とコントロールポリシーが行動に一致した場合、その結果はノイズに寄与するが、治療効果に関する信号はない。
本稿では,この重なり合いを利用して実験を加速する新しい実験プロトコルを提案する。
- 参考スコア（独自算出の注目度）: 8.291484471359633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online controlled experiments are the gold standard for hypothesis testing in online platforms. Notwithstanding their ubiquity, they are notoriously expensive to run, and issues of variance hamper statistical power in assessing treatment effects. While standard variance reduction techniques leverage model-based control variates to reduce outcome noise, they remain agnostic to potential structural relationships between competing policies. In this work, we identify a critical inefficiency in the standard A/B-testing protocol: when a treatment and control policy agree on an action, the resulting outcome contributes noise but no signal regarding the treatment effect -- unnecessarily inflating confidence intervals. We propose a novel experimental protocol that exploits this policy overlap to accelerate experimentation. The key insight is to frame the randomised treatment assignment mechanism as a meta-policy, and leverage $Δ$-Off-Policy Estimation methods to obtain unbiased estimates for average treatment effects. We prove analytically that our approach recovers standard A/B-testing practices in the general case, but that its variance scales with the divergence between policies rather than raw outcome variance. Hence, we dominate the standard Difference-in-Means estimator whenever policies have common support, and the improvement is strict whenever the overlap region contributes non-zero residual variance. Empirical results corroborate these theoretical insights -- holding promise for significant impact on the real-world evaluation of recommender systems, information retrieval pipelines, and large language model interfaces.
- Abstract（参考訳）: オンライン制御実験は、オンラインプラットフォームにおける仮説テストのゴールドスタンダードである。
実用性にも拘わらず、実行に費用がかかることで知られており、分散の問題は治療効果を評価する統計的パワーを妨げている。
標準分散還元技術は、結果ノイズを低減するためにモデルベースの制御変数を利用するが、競合するポリシー間の潜在的構造的関係には依存しない。
本研究では, 標準A/Bテストプロトコルにおいて, 処理と制御ポリシが一致した場合, 結果がノイズに寄与するが, 処理効果に関する信号は不要であり, 不必要に信頼区間を膨らませる。
本稿では,この重なり合いを利用して実験を加速する新しい実験プロトコルを提案する。
鍵となる洞察は、ランダム化された処理割り当て機構をメタポリシーとしてフレーム化し、$Δ$-Off-Policy Estimation法を利用して平均的な処理効果の非バイアス推定を得ることである。
本稿では,本手法が一般的なA/Bテストの実践を回復するものであることを解析的に証明するが,その分散は生結果のばらつきではなく,政策間のばらつきとともにスケールする。
したがって、ポリシーが共通のサポートを持つ場合、標準差分平均推定器が支配され、重複領域が非ゼロ残差に寄与する場合、改善は厳密である。
実証的な結果は、これらの理論的な洞察を裏付ける -- 推奨システム、情報検索パイプライン、および大きな言語モデルインターフェースの現実的な評価に大きな影響を与えると約束する。
関連論文リスト
- Unifying On- and Off-Policy Variance Reduction Methods [8.291484471359633]
オンラインの標準差分平均推定器は,非政治的逆比重推定器と数学的に同一であることを示す。
この統合を拡張して、広範回帰補正法は2倍ロバスト推定と構造的に等価であることを示す。
論文 参考訳（メタデータ） (2026-03-09T13:32:39Z) - Beyond Normality: Reliable A/B Testing with Non-Gaussian Data [15.568830806973407]
我々は、スキューで長い尾の長いデータと不等割当歪みの誤差率を定量化し、$t$-testが有効であるのに必要な最小サンプルサイズについて明示的な公式を導出する。
多くのオンラインフィードバックメトリクスは、信頼できるA/Bテストを保証するのに、何億ものサンプルが必要です。
論文 参考訳（メタデータ） (2025-10-26T14:44:19Z) - Practical Improvements of A/B Testing with Off-Policy Estimation [51.25970890274447]
従来の手法よりも分散度を低くする非バイアスのオフ・ポリティクス推定器のファミリーを導入する。
提案手法の有効性と実用性を理論的に検証した。
論文 参考訳（メタデータ） (2025-06-12T13:11:01Z) - Prediction-Powered Causal Inferences [59.98498488132307]
予測型因果推論(PPCI)に焦点をあてる
まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。
次に、実験間での十分な表現制約伝達の妥当性を導入する。
論文 参考訳（メタデータ） (2025-02-10T10:52:17Z) - Post Launch Evaluation of Policies in a High-Dimensional Setting [4.710921988115686]
A/Bテスト(A/B test)またはランダム化制御実験(RCTs)は、新しいポリシー、製品、決定の影響を評価するための金の標準である。
本稿では「合成制御」にインスパイアされた方法論の適用に関する実践的考察を考察する。
合成制御法は、影響を受けていない単位からのデータを利用して、処理された単位に対する対実的な結果を推定する。
論文 参考訳（メタデータ） (2024-12-30T19:35:29Z) - Improving the Estimation of Lifetime Effects in A/B Testing via Treatment Locality [16.36651676133996]
マルコフ決定過程における一般A/Bテストのための最適推論手法を開発した。
本研究では,非ターゲット状態の情報を共有することで,局所構造を利用する手法を提案する。
偏見を増大させることなく情報共有による分散低減の恩恵を受けることができることを示す。
論文 参考訳（メタデータ） (2024-07-29T00:41:11Z) - Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。
合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
論文 参考訳（メタデータ） (2023-10-24T01:00:01Z) - Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。
この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。
本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
論文 参考訳（メタデータ） (2023-04-05T16:45:11Z) - Improved Policy Evaluation for Randomized Trials of Algorithmic Resource
Allocation [54.72195809248172]
提案する新しい概念を応用した新しい推定器を提案する。
我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
論文 参考訳（メタデータ） (2023-02-06T05:17:22Z) - Off-Policy Evaluation via Adaptive Weighting with Data from Contextual
Bandits [5.144809478361604]
本研究では,2重に重み付けすることで2重に頑健な (DR) 推定器を改良し,その分散を制御した。
推定器の精度向上と既存の代替手段に対する推論特性に関する実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-06-03T17:54:44Z) - Post-Contextual-Bandit Inference [57.88785630755165]
コンテキストバンディットアルゴリズムは、電子商取引、医療、政策立案における非適応的なA/Bテストを置き換える傾向にある。
研究参加者の成果を改善することもでき、良い方針や最良の政策を特定できる可能性を高めることもできる。
研究の終盤における新規介入の信頼性推論を支援するため, 平均治療効果, サブグループ効果, あるいは新政策の価値について, 有効な信頼区間を構築したい。
論文 参考訳（メタデータ） (2021-06-01T12:01:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。