論文の概要: Model-based Bootstrap for Offline Policy Evaluation in Tabular Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.20389v1
• Date: Thu, 17 Sep 2026 13:41:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.292282
• Title: Model-based Bootstrap for Offline Policy Evaluation in Tabular Reinforcement Learning
• Title（参考訳）: 語彙強化学習におけるオフライン政策評価のためのモデルベースブートストラップ
• Abstract要約: オフライン政策評価(OPE)は,高スループット強化学習アプリケーションにおいて重要である。 しかし、既存のアプローチは、しばしば限られた堅牢性、スケーラビリティ、あるいは有限サンプルの妥当性に悩まされる。 有限水平・時間不均質マルコフ決定過程におけるOPEの不確実性定量化のためのモデルベースブートストラップフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.353442164586932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline policy evaluation (OPE) is crucial in high-stakes reinforcement learning applications, where new policies must be assessed reliably before deployment. In such settings, point estimates alone are insufficient; principled uncertainty quantification, such as confidence intervals and variance estimates, is essential for safe and risk-aware decision-making. A comprehensive way to unify these tasks is to estimate the sampling distribution of the evaluation error. Existing approaches, however, often suffer from limited robustness, scalability, or finite-sample validity. In this paper, we propose a model-based bootstrap framework for uncertainty quantification of OPE in finite-horizon, time-inhomogeneous Markov decision processes (MDPs). Unlike classical bootstrap methods that rely on resampling complete episodes, the proposed method regenerates trajectories from an estimated MDP and can therefore accommodate a much broader range of offline data formats, including complete trajectories, transition-level observations, and trajectory fragments. This flexibility further improves finite-sample statistical efficiency. We establish bootstrap distributional consistency, asymptotically valid confidence intervals, and consistent variance estimation for the target policy value. Extensive simulations show that the proposed method accurately captures the sampling distribution of the OPE estimator, yielding tighter confidence intervals and more accurate variance estimates in most settings.
• Abstract（参考訳）: オフライン政策評価(OPE)は、デプロイ前に新しい方針を確実に評価しなくてはならない、高度な強化学習アプリケーションにおいて重要である。 このような設定では、点推定だけでは不十分であり、信頼区間や分散推定のような原則化された不確実性定量化は、安全かつリスクを意識した意思決定に不可欠である。 これらのタスクを統一する包括的な方法は、評価誤差のサンプリング分布を推定することである。 しかし、既存のアプローチは、しばしば限られた堅牢性、スケーラビリティ、あるいは有限サンプルの妥当性に悩まされる。 本稿では,有限水平時間不均質マルコフ決定過程(MDP)におけるOPEの不確実性定量化のためのモデルベースブートストラップフレームワークを提案する。 完全なエピソードを再サンプリングする古典的なブートストラップ法とは異なり、提案手法は推定されたMDPからトラジェクトリを再生し、完全なトラジェクトリ、トランジションレベルの観測、トラジェクトリフラグメントを含む、より広い範囲のオフラインデータフォーマットに対応できる。 この柔軟性は、有限サンプル統計効率をさらに向上させる。 我々は,ブートストラップ分布の整合性,漸近的に有効な信頼区間,および目標ポリシ値に対する一貫した分散推定を確立する。 広範シミュレーションにより,提案手法はOPE推定器のサンプリング分布を正確に把握し,より厳密な信頼区間と多くの設定におけるより正確な分散推定を行うことを示した。

関連論文リスト

• TULiP: Test-time Uncertainty Estimation via Linearization and Weight Perturbation [11.334867025651233]
  OOD検出のための理論駆動型不確実性推定器TULiPを提案する。 本手法では,収束前にネットワークに適用される仮説的摂動を考察する。 提案手法は,特に近分布試料について,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-05-22T17:16:41Z)
• Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
  我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。 具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。 提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
  論文  参考訳（メタデータ） (2023-10-25T02:37:51Z)
• A Tale of Sampling and Estimation in Discounted Reinforcement Learning [50.43256303670011]
  割引平均推定問題に対して最小値の最小値を求める。 マルコフ過程の割引されたカーネルから直接サンプリングすることで平均を推定すると、説得力のある統計的性質が得られることを示す。
  論文  参考訳（メタデータ） (2023-04-11T09:13:17Z)
• A Deep Reinforcement Learning Approach to Rare Event Estimation [30.670114229970526]
  自律システムの設計における重要なステップは、失敗が起こる確率を評価することである。 安全クリティカルな領域では、モンテカルロサンプリングによる政策の評価が非効率であるように、失敗確率は非常に小さい。 逐次意思決定システムにおいて、稀な事象の確率を効率的に推定できる2つの適応的重要度サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-11-22T18:29:14Z)
• Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
  本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。 我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。 実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
  論文  参考訳（メタデータ） (2021-05-25T14:35:46Z)
• Bootstrapping Statistical Inference for Off-Policy Evaluation [43.79456564713911]
  オフ政治評価(OPE)におけるブートストラップの利用について検討する。 本稿では,政策評価誤差の分布を推定するブートストラップFQE法を提案し,この手法が政治外の統計的推測に有効で一貫性があることを示す。 我々は,古典的RL環境におけるブートラッピング手法の評価を行い,信頼区間推定,オフポリチック評価器のばらつきの推定,複数オフポリチック評価器の相関性の推定を行った。
  論文  参考訳（メタデータ） (2021-02-06T16:45:33Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
  強化学習における高信頼行動非依存のオフ政治評価について検討する。 様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
  論文  参考訳（メタデータ） (2020-10-22T12:39:11Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。