論文の概要: Beating the Winner's Curse via Inference-Aware Policy Optimization

• arxiv url: http://arxiv.org/abs/2510.18161v1
• Date: Mon, 20 Oct 2025 23:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.723954
• Title: Beating the Winner's Curse via Inference-Aware Policy Optimization
• Title（参考訳）: 推論対応政策最適化による勝利率の獲得
• Authors: Hamsa Bastani, Osbert Bastani, Bryce McLaughlin,
• Abstract要約: 一般的なアプローチは、機械学習モデルをトレーニングして反現実的な結果を予測し、予測された客観的価値を最適化するポリシーを選択することである。 提案手法は,政策を下流でどのように評価するかを考慮し,政策最適化を改良する,推論対応政策最適化と呼ばれる新しい戦略を提案する。
• 参考スコア（独自算出の注目度）: 26.01488014918074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been a surge of recent interest in automatically learning policies to target treatment decisions based on rich individual covariates. A common approach is to train a machine learning model to predict counterfactual outcomes, and then select the policy that optimizes the predicted objective value. In addition, practitioners also want confidence that the learned policy has better performance than the incumbent policy according to downstream policy evaluation. However, due to the winner's curse-an issue where the policy optimization procedure exploits prediction errors rather than finding actual improvements-predicted performance improvements are often not substantiated by downstream policy optimization. To address this challenge, we propose a novel strategy called inference-aware policy optimization, which modifies policy optimization to account for how the policy will be evaluated downstream. Specifically, it optimizes not only for the estimated objective value, but also for the chances that the policy will be statistically significantly better than the observational policy used to collect data. We mathematically characterize the Pareto frontier of policies according to the tradeoff of these two goals. Based on our characterization, we design a policy optimization algorithm that uses machine learning to predict counterfactual outcomes, and then plugs in these predictions to estimate the Pareto frontier; then, the decision-maker can select the policy that optimizes their desired tradeoff, after which policy evaluation can be performed on the test set as usual. Finally, we perform simulations to illustrate the effectiveness of our methodology.
• Abstract（参考訳）: 豊かな個人共変量に基づく治療決定を目標とする政策を自動学習することに対する近年の関心が高まっている。 一般的なアプローチは、機械学習モデルをトレーニングして反現実的な結果を予測し、予測された客観的価値を最適化するポリシーを選択することである。 また、下流政策評価により、学習方針が既存の政策よりも優れたパフォーマンスを期待している。 しかし、実際の性能改善を見出すよりも、ポリシー最適化が予測エラーを悪用するという、勝者の呪いのため、ダウンストリームのポリシー最適化では、しばしば裏付けられなくなる。 この課題に対処するために、我々は、政策最適化を下流でどのように評価するかを考慮に入れた、推論対応ポリシー最適化と呼ばれる新しい戦略を提案する。 具体的には、推定対象値だけでなく、データ収集に使用される観測ポリシーよりも統計的にはるかに優れている可能性についても最適化する。 我々は、これらの2つの目標のトレードオフに従って、政策のパレートフロンティアを数学的に特徴づける。 評価に基づいて,機械学習を用いて対実的な結果を予測するポリシ最適化アルゴリズムを設計し,これらの予測をプラグインしてパレートフロンティアを推定する。 最後に,提案手法の有効性を示すシミュレーションを行う。

関連論文リスト

• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Optimal Policy Adaptation under Covariate Shift [15.703626346971182]
  目的領域における最適ポリシーを2つのデータセットを用いて学習するための原則的アプローチを提案する。 我々は、所定の政策によって引き起こされた報酬に対する識別可能性の仮定を導出する。 そして、推定報酬を最適化することで最適な政策を学ぶ。
  論文  参考訳（メタデータ） (2025-01-14T12:33:02Z)
• Acceleration in Policy Optimization [50.323182853069184]
  我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。 我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。 我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
  論文  参考訳（メタデータ） (2023-06-18T15:50:57Z)
• SPEED: Experimental Design for Policy Evaluation in Linear Heteroscedastic Bandits [13.02672341061555]
  線形帯域における政策評価のための最適データ収集の問題について検討する。 まず,重み付き最小二乗推定値に対して,重み付き線形帯域設定で最適設計を定式化する。 次に、この定式化を使用して、データ収集中にアクション毎のサンプルの最適な割り当てを導出します。
  論文  参考訳（メタデータ） (2023-01-29T04:33:13Z)
• Off-Policy Evaluation with Policy-Dependent Optimization Response [90.28758112893054]
  我々は,テキスト政治に依存した線形最適化応答を用いた非政治評価のための新しいフレームワークを開発した。 摂動法による政策依存推定のための非バイアス推定器を構築する。 因果介入を最適化するための一般的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-02-25T20:25:37Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。