論文の概要: Offline Policy Evaluation as a decision support tool for designing Adaptive Experiments

• arxiv url: http://arxiv.org/abs/2609.30273v1
• Date: Mon, 10 Aug 2026 20:13:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.114006
• Title: Offline Policy Evaluation as a decision support tool for designing Adaptive Experiments
• Title（参考訳）: 適応実験設計のための意思決定支援ツールとしてのオフライン政策評価
• Abstract要約: 固定ランダム化実験(A/Bテスト)の履歴データを用いて,文脈的帯域幅に基づく適応実験の展開を知らせる方法について検討する。 我々は、規制された温暖化開始シミュレーションとオフ政治評価を組み合わせることで、あらかじめ特定された適応政策と非適応政策のポートフォリオをランク付けする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate how historical data from fixed randomized experiments (A/B tests) can be used to inform the deployment of adaptive experiments based on contextual bandits. Given data collected under a static allocation, our goal is to assess which adaptive policies, if any, would have outperformed the original design and under what conditions. To this end, we combine off-policy evaluation (OPE) with a controlled warm-start simulation. From logged A/B test data exhibiting heterogeneous treatment effects, we estimate nuisance components and use doubly robust estimators to rank a portfolio of pre-specified adaptive and non-adaptive policies. When ground truth is available, we then deploy the same offline-trained policies in a simulator that reuses the exact data-generating reward probabilities, providing a safe, ground-truth-anchored environment to study the offline-to-online transition under warm starting. Using synthetic randomized controlled trials with known heterogeneity structures and an oracle policy, our results indicate that adaptive, context-aware policies improve upon fixed allocations when meaningful heterogeneity is present, while providing little benefit in its absence. We reinforce our findings on standard open benchmarks (Hillstrom, Criteo Uplift, and LaLonde), reinterpreted through a policy-value and regret perspective. Overall, our results provide a practical methodology for deciding when adaptive experimentation is worth deploying and how to select among competing adaptive policies using existing A/B test data.
• Abstract（参考訳）: 固定ランダム化実験(A/Bテスト)の履歴データを用いて,文脈的帯域幅に基づく適応実験の展開を知らせる方法について検討する。 静的なアロケーションの下で収集されたデータについて、私たちのゴールは、どのアダプティブポリシーが、もしあれば、元の設計よりも、どの条件下で、どのアダプティブポリシーが優れているかを評価することです。 この目的のために、オフ政治評価(OPE)と制御されたウォームスタートシミュレーションを組み合わせる。 不均一な治療効果を示すログ化されたA/Bテストデータから、ニュアンス成分を推定し、2つの頑健な推定器を用いて、事前に特定された適応的および非適応的なポリシーのポートフォリオをランク付けする。 地上の真理が得られれば、我々は同じオフライントレーニングされたポリシーをシミュレータに展開し、正確なデータ生成報酬確率を再利用し、温暖なスタートの下でオフラインからオンラインへの遷移を研究する安全な地道な環境を提供する。 異質性構造とオラクルポリシーを併用した合成ランダム化制御試験により, 有意な異質性が存在する場合, 適応的, 文脈対応的なポリシーが一定のアロケーションを改善するとともに, その不在性にはほとんど利益が得られないことが示唆された。 我々は、標準オープンベンチマーク(Hillstrom、Criteo Uplift、LaLonde)に関する我々の研究結果を、政策価値と後悔の観点から再解釈した。 以上の結果から,適応実験の実施価値を判断するための実践的方法論と,既存のA/Bテストデータを用いて,競合する適応政策の選択方法について検討した。

関連論文リスト

• How Sampling Shapes LLM Alignment: From One-Shot Optima to Iterative Dynamics [65.67654005892469]
  適切なインスタンス依存サンプリングは、より強力なランキング保証を得られる一方で、スキュードオン政治サンプリングは、構造化された嗜好の下で過剰な濃度を誘導できることを示す。 次に、学習したポリシーが将来のサンプリングおよび参照ポリシーにフィードバックする反復的なアライメントダイナミクスを分析する。 我々の理論的な洞察は直接選好最適化にまで拡張され、我々が捉えた現象はより広範な選好アライメント手法に共通していることを示している。
  論文  参考訳（メタデータ） (2026-02-12T17:11:08Z)
• Stochastic Gradient Descent with Adaptive Data [4.119418481809095]
  勾配降下(SGD)は、オンライン学習シナリオにおいて特に有用である強力な最適化手法である。 オペレーションリサーチにおけるポリシー最適化問題へのSGDの適用には、環境を変えてポリシー更新に使用するデータに影響を与えるという、明確な課題が伴う。 過去の決定が生成したデータに与える影響は、勾配推定におけるバイアスを導入し、iidケースに存在しないオンライン学習の不安定性の潜在的な原因を示す。 適応データによるSGDの収束速度は, 政策誘起力学の混合時間に係わる限り, 古典的イド設定とほとんど同様であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T02:58:32Z)
• Adaptive Principal Component Regression with Applications to Panel Data [29.295938927701396]
  我々は、(正規化)主成分回帰に対する最初の時間一様有限標本保証を提供する。 結果は,現代のマルティンゲール濃度から変量設定への適応ツールに頼っている。 提案手法は,エラー・イン・変数の回帰を利用していないベースラインを経験的に上回ることを示す。
  論文  参考訳（メタデータ） (2023-07-03T21:13:40Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• Post-Contextual-Bandit Inference [57.88785630755165]
  コンテキストバンディットアルゴリズムは、電子商取引、医療、政策立案における非適応的なA/Bテストを置き換える傾向にある。 研究参加者の成果を改善することもでき、良い方針や最良の政策を特定できる可能性を高めることもできる。 研究の終盤における新規介入の信頼性推論を支援するため, 平均治療効果, サブグループ効果, あるいは新政策の価値について, 有効な信頼区間を構築したい。
  論文  参考訳（メタデータ） (2021-06-01T12:01:51Z)
• Distributionally Robust Batch Contextual Bandits [20.667213458836734]
  歴史的観測データを用いた政策学習は、広く応用されている重要な問題である。 既存の文献は、学習方針が展開される将来の環境が過去の環境と同じである、という決定的な前提に基づいている。 本稿では、この仮定を引き上げ、不完全な観測データを用いて、分布的に堅牢なポリシーを学習することを目的とする。
  論文  参考訳（メタデータ） (2020-06-10T03:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。