論文の概要: Stable Policy Learning

• arxiv url: http://arxiv.org/abs/2609.19418v1
• Date: Wed, 16 Sep 2026 20:54:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.013435
• Title: Stable Policy Learning
• Title（参考訳）: 安定的な政策学習
• Abstract要約: 証拠に基づく政策作成では、典型的には1つの実験サンプルが観察され、学習された政策勧告が大規模に実施される。 アルゴリズムの安定性がトレードオフの特徴付けとナビゲートにおいて中心的な役割を果たすことを示す。 政策投票バッジと呼ばれる政策学習手法を提案し,多くのサブサンプルに対する治療決定を学習し,その投票を治療確率として評価する。
• 参考スコア（独自算出の注目度）: 1.6567880228735357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In evidence-based policymaking, typically one experimental sample is observed, then a learned policy recommendation is implemented at scale. Policies learned from the experimental data can perform well in expected welfare, yet random sampling in the experiment can produce recommendations with poor welfare outcomes. In this paper, we ask: how should policy learning algorithms balance expected welfare against sampling risk? Our main contribution is to show that algorithmic stability plays a central role in characterizing and navigating the tradeoff. Intuitively, if a policy learning algorithm's recommendation remains stable when one experimental unit is replaced, then that algorithm has limited sampling risk. We propose a method for policy learning called policy-vote bagging, which learns treatment decisions on many subsamples then averages their votes into treatment probabilities. Relative to using one subsample, averaging across subsamples preserves expected welfare and improves expected utility for a risk-averse researcher. We derive sharp bounds linking estimation accuracy, subsample size, and welfare variation, including an exact guarantee under CARA utility.
• Abstract（参考訳）: 証拠に基づく政策作成では、典型的には1つの実験サンプルが観察され、学習された政策勧告が大規模に実施される。 実験データから得られたポリシーは、期待される福祉において良好に機能するが、実験中のランダムサンプリングは、貧弱な福祉結果を伴うレコメンデーションを生成することができる。 本稿では、政策学習アルゴリズムは、サンプリングリスクに対して、期待される福祉とどのようにバランスをとるべきかを問う。 私たちの主な貢献は、アルゴリズムの安定性がトレードオフの特徴付けとナビゲートにおいて中心的な役割を果たすことを示すことです。 直感的には、1つの実験ユニットが置き換えられた場合、ポリシー学習アルゴリズムの推奨が安定していれば、そのアルゴリズムはサンプリングリスクが制限される。 政策投票バッジと呼ばれる政策学習手法を提案し,多くのサブサンプルに対する治療決定を学習し,その投票を治療確率として評価する。 1つのサブサンプルを使用するのに対して、サブサンプルの平均化は期待される福祉を保ち、リスク回避研究者の期待する実用性を改善する。 我々は、CARAユーティリティの下での正確な保証を含む、推定精度、サブサンプルサイズ、福祉の変動をリンクするシャープな境界を導出する。

関連論文リスト

• Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning [52.97053840476386]
  我々は、よく設計された行動ポリシーを用いて、分散リターン推定を確実に低くするために、政治外のデータを収集できることを示します。 我々は、この重要な洞察を、政策評価と改善の両方がインターリーブされるオンライン強化学習環境に拡張する。
  論文  参考訳（メタデータ） (2025-11-13T23:06:40Z)
• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• Learning from a Biased Sample [2.7728441305894447]
  本稿では,テスト分布のファミリーで発生する最悪のリスクを最小限に抑える決定ルールの学習方法を提案する。 本研究では,健康調査データからメンタルヘルススコアの予測を行うケーススタディにおいて,提案手法を実証的に検証した。
  論文  参考訳（メタデータ） (2022-09-05T04:19:16Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• Distributionally Robust Batch Contextual Bandits [20.667213458836734]
  歴史的観測データを用いた政策学習は、広く応用されている重要な問題である。 既存の文献は、学習方針が展開される将来の環境が過去の環境と同じである、という決定的な前提に基づいている。 本稿では、この仮定を引き上げ、不完全な観測データを用いて、分布的に堅牢なポリシーを学習することを目的とする。
  論文  参考訳（メタデータ） (2020-06-10T03:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。