論文の概要: Strategic A/B testing via Maximum Probability-driven Two-armed Bandit

• arxiv url: http://arxiv.org/abs/2506.22536v1
• Date: Fri, 27 Jun 2025 17:15:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.455483
• Title: Strategic A/B testing via Maximum Probability-driven Two-armed Bandit
• Title（参考訳）: 最大確率駆動二本腕バンドを用いた戦略的A/Bテスト
• Authors: Yu Zhang, Shanshan Zhao, Bokui Wan, Jinjuan Wang, Xiaodong Yan,
• Abstract要約: 本研究は, 平均ボラティリティ統計量の重み付けにより, 最大確率駆動型二本腕バンディット(TAB)プロセスを提案する。 置換法の実装により、ロバスト性と有効性がさらに向上する。 実験結果から,A/B試験の大幅な改善が示され,高い統計力を維持しながら実験コストを低減できる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 8.336506371247559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting a minor average treatment effect is a major challenge in large-scale applications, where even minimal improvements can have a significant economic impact. Traditional methods, reliant on normal distribution-based or expanded statistics, often fail to identify such minor effects because of their inability to handle small discrepancies with sufficient sensitivity. This work leverages a counterfactual outcome framework and proposes a maximum probability-driven two-armed bandit (TAB) process by weighting the mean volatility statistic, which controls Type I error. The implementation of permutation methods further enhances the robustness and efficacy. The established strategic central limit theorem (SCLT) demonstrates that our approach yields a more concentrated distribution under the null hypothesis and a less concentrated one under the alternative hypothesis, greatly improving statistical power. The experimental results indicate a significant improvement in the A/B testing, highlighting the potential to reduce experimental costs while maintaining high statistical power.
• Abstract（参考訳）: 小規模な平均治療効果の検出は大規模アプリケーションにおいて大きな課題であり、最小限の改善でさえ経済的に重大な影響を及ぼす可能性がある。 通常の分布ベースまたは拡張統計に依存する従来の手法は、十分な感度で小さな不一致を扱うことができないため、そのような小さな効果を識別できないことが多い。 本研究は, 対実結果の枠組みを活用し, 平均ボラティリティ統計を重み付けして, 確率駆動型二本腕バンディット(TAB)プロセスを提案する。 置換法の実装により、ロバスト性と有効性がさらに向上する。 確立された戦略中心極限定理 (SCLT) は、我々のアプローチが null 仮説の下でより集中的な分布を、代替仮説下ではより集中的な分布を、統計的パワーを大幅に改善することを示した。 実験結果から,A/B試験の大幅な改善が示され,高い統計力を維持しながら実験コストを低減できる可能性が示唆された。

関連論文リスト

• Practical Improvements of A/B Testing with Off-Policy Estimation [51.25970890274447]
  従来の手法よりも分散度を低くする非バイアスのオフ・ポリティクス推定器のファミリーを導入する。 提案手法の有効性と実用性を理論的に検証した。
  論文  参考訳（メタデータ） (2025-06-12T13:11:01Z)
• Strength of statistical evidence for genuine tripartite nonlocality [0.0]
  ネットワーク非局所性の最近の進歩は、局所操作の概念と共有ランダム性に基づく真のマルチパーティライト非局所性(LOSR-GMNL)につながっている。 本稿では,2つのサブセットがリソースを2つに分けて共有し,各パーティが無制限に共有されたランダム性にアクセスできるネットワークにおいて,相関を示すことが目的である三部作シナリオに焦点を当てる。
  論文  参考訳（メタデータ） (2024-07-28T21:12:52Z)
• STATE: A Robust ATE Estimator of Heavy-Tailed Metrics for Variance Reduction in Online Controlled Experiments [22.32661807469984]
  我々は、学生のt分布と機械学習ツールを統合して、ヘビーテールのメトリクスに適合する新しいフレームワークを開発する。 ログ類似度関数を最適化するために変分EM法を採用することにより、アウトリアの負の影響を大幅に排除するロバストな解を推測できる。 Meituan実験プラットフォーム上での合成データと長期実験結果のシミュレーションにより,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-07-23T09:35:59Z)
• Max-Rank: Efficient Multiple Testing for Conformal Prediction [43.56898111853698]
  多重仮説テスト(MHT)は科学的な調査で頻繁に発生し、複数の仮説の同時テストはタイプIエラーや偽陽性のリスクを膨らませる。 本稿では、予測不確実性定量化のための柔軟なフレームワークである共形予測の文脈において、MHTに対処する。 我々は、ファミリーワイズエラー率を効率的に制御しながら依存関係を利用する新しい補正である$textttmax-rank$を紹介した。
  論文  参考訳（メタデータ） (2023-11-17T22:44:22Z)
• Distribution-Free Statistical Dispersion Control for Societal Applications [16.43522470711466]
  モデル性能に関する有限サンプル統計保証は、責任ある機械学習において重要な要素である。 これまでの研究は主に、予測器の期待損失と、個々の予測が特定の範囲で損失値をもたらす確率のどちらかを束縛することに焦点を当ててきた。 我々は,従来よりもはるかにリッチな統計関数のクラスを扱える,シンプルで柔軟なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-25T00:31:55Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• Differential privacy and robust statistics in high dimensions [49.50869296871643]
  高次元Propose-Test-Release (HPTR) は指数的メカニズム、頑健な統計、Propose-Test-Release メカニズムという3つの重要なコンポーネントの上に構築されている。 本論文では,HPTRが複数のシナリオで最適サンプル複雑性をほぼ達成していることを示す。
  論文  参考訳（メタデータ） (2021-11-12T06:36:40Z)
• Efficient Inference Without Trading-off Regret in Bandits: An Allocation Probability Test for Thompson Sampling [1.6114012813668934]
  適応ランダム化実験を行うのにバンドアルゴリズムを用いると、後悔を最小限に抑えることができるが、統計的推測には大きな課題が生じる。 これらの課題に対処しようとする最近の試みは、典型的には、保証を保証するために、B bandit$-$trading off regret$-$-$ 大きなサンプルサイズを必要とする。 バンディットアルゴリズムの割り当て確率に一意的に基づく新しい仮説テストを導入し,その利用性を制限したり,最小限の実験サイズを必要としない。 我々は、我々のアプローチ、特に小さなサンプルにおいて、広範囲なシミュレーションと実際のメンタルヘルスに関する実験の両方において、後悔と推論の利点を実証する。
  論文  参考訳（メタデータ） (2021-10-30T01:47:14Z)
• With Little Power Comes Great Responsibility [54.96675741328462]
  アンダーパワー実験により、統計的ノイズと有意義なモデル改善の違いを識別することがより困難になる。 小さなテストセットは、ほとんどの試行錯誤が、最先端のモデルと比較しても、十分なパワーが得られないことを意味している。 機械翻訳では,2000文の典型的テストセットが約75%のパワーで1 BLEU点の差を検出する。
  論文  参考訳（メタデータ） (2020-10-13T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。