論文の概要: Multi-Metric Adaptive Experimental Design under Fixed Budget with Validation

• arxiv url: http://arxiv.org/abs/2506.03062v1
• Date: Tue, 03 Jun 2025 16:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.834033
• Title: Multi-Metric Adaptive Experimental Design under Fixed Budget with Validation
• Title（参考訳）: バリデーション付き固定予算下における多段階適応実験設計
• Authors: Qining Zhang, Tanner Fiez, Yi Liu, Wenyang Liu,
• Abstract要約: オンライン実験における標準A/Bテストは、複数の候補を同時にテストする際の統計的パワー課題に直面している。 本稿では, 最適処理を識別するための適応探索フェーズと, 処理の質と統計の推測を行う検証フェーズという, 2相構造を持つ固定予算多値AEDフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.5481503979787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard A/B tests in online experiments face statistical power challenges when testing multiple candidates simultaneously, while adaptive experimental designs (AED) alone fall short in inferring experiment statistics such as the average treatment effect, especially with many metrics (e.g., revenue, safety) and heterogeneous variances. This paper proposes a fixed-budget multi-metric AED framework with a two-phase structure: an adaptive exploration phase to identify the best treatment, and a validation phase with an A/B test to verify the treatment's quality and infer statistics. We propose SHRVar, which generalizes sequential halving (SH) (Karnin et al., 2013) with a novel relative-variance-based sampling and an elimination strategy built on reward z-values. It achieves a provable error probability that decreases exponentially, where the exponent generalizes the complexity measure for SH (Karnin et al., 2013) and SHVar (Lalitha et al., 2023) with homogeneous and heterogeneous variances, respectively. Numerical experiments verify our analysis and demonstrate the superior performance of this new framework.
• Abstract（参考訳）: オンライン実験における標準A/Bテストは、複数の候補を同時にテストする際の統計的パワー課題に直面するが、アダプティブ実験設計(AED)単独では、平均処理効果(特に多くの指標(例えば、収益、安全性)と不均一な分散)を推測する実験統計が不足している。 本稿では, 最適処理を識別するための適応探索フェーズと, 処理品質の検証と統計的推測を行うためのA/Bテストによる検証フェーズの2相構造を持つ固定予算多値AEDフレームワークを提案する。 そこで我々は, SHRVarを提案する。SH(Sequence halving, SH) を新しい相対分散型サンプリングとz値に基づく除去戦略により一般化する。 指数関数はSH (Karnin et al , 2013) とSHVar (Lalitha et al , 2023) の複雑性尺度を等質な分散と不均一な分散をそれぞれ一般化する。 数値解析実験により解析結果が検証され,本フレームワークの優れた性能が実証された。

関連論文リスト

• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Simultaneous inference for generalized linear models with unmeasured confounders [0.0]
  本稿では,構造を利用して線形射影を3つの重要な段階に統合する,統一的な統計的推定と推測の枠組みを提案する。 サンプルおよび応答サイズとして$z$-testsの効果的なType-Iエラー制御が無限大に近づくことを示す。
  論文  参考訳（メタデータ） (2023-09-13T18:53:11Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Variance Minimization in the Wasserstein Space for Invariant Causal Prediction [72.13445677280792]
  そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。 これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。 我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2021-10-13T22:30:47Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• Tracking disease outbreaks from sparse data with Bayesian inference [55.82986443159948]
  新型コロナウイルス(COVID-19)のパンデミックは、感染発生時の感染率を推定する新たな動機を与える。 標準的な手法は、より細かいスケールで共通する部分的な観測可能性とスパースなデータに対応するのに苦労する。 原理的に部分観測可能なベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-12T20:37:33Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。