論文の概要: Near-Optimal Sample Complexity for Recursive Entropic Risk Reinforcement Learning with a Generative Model
- arxiv url: http://arxiv.org/abs/2610.06931v1
- Date: Sat, 03 Oct 2026 01:53:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.471054
- Title: Near-Optimal Sample Complexity for Recursive Entropic Risk Reinforcement Learning with a Generative Model
- Title（参考訳）: 生成モデルを用いた再帰的エントロピーリスク強化学習のための準最適サンプル複雑度
- Abstract要約: 有限割引マルコフ決定過程における値と政策学習のサンプル複雑さについて検討する。
我々は、最適な(Q)値関数と(varepsilon)-最適ポリシーの両方を学ぶための(varepsilon,)-PAC保証を導出する。
- 参考スコア（独自算出の注目度）: 2.1483624911986507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study the sample complexities of value and policy learning in finite discounted Markov decision processes (MDPs) under recursive entropic risk preferences with risk parameter \(β\neq 0\), assuming access to a generative model of the MDP. We provide a refined analysis of model-based risk-sensitive Q-value iteration (MB-RS-QVI), a plug-in model-based method introduced in prior work, and derive \((\varepsilon,δ)\)-PAC guarantees for both learning the optimal \(Q\)-value function and an \(\varepsilon\)-optimal policy. Our bounds improve the exponential dependence on the effective horizon \(1/(1-γ)\) compared with the best existing guarantees for this setting. In particular, they match the existing lower bounds in their exponential dependence on \(|β|/(1-γ)\), as well as in \(S\), \(A\), \(\varepsilon\), and \(|β|\), up to logarithmic factors. Consequently, our analysis removes the exponential gap between the previously known upper and lower bounds, leaving only a polynomial gap in the effective horizon.
- Abstract（参考訳）: 本稿では, リスクパラメータ \(β\neq 0\) を用いた再帰的エントロピー的リスク選好の下で, 有限割引マルコフ決定過程(MDPs)における値と政策学習のサンプル複雑さについて検討し, MDPの生成モデルへのアクセスを想定した。
本稿では,モデルに基づくリスクに敏感なQ値反復 (MB-RS-QVI) の洗練された解析,および,最適値関数である \(Q\)-値関数と,最適ポリシである \(\varepsilon,δ)\ を学習するための \((\varepsilon,δ)\)-PAC 保証を導出する。
我々の境界は、この設定の最良の保証よりも有効地平線(1/(1-γ)\)への指数的依存を改善する。
特に、それらは、(S\), \(A\), \(\varepsilon\), \(|β|\), \(|β|\), の指数的依存度において既存の下界と対数的因子に一致する。
その結果, 既知上界と下界の指数的ギャップを除去し, 有効地平線に多項式ギャップのみを残した。
関連論文リスト
- Reinforcement Learning for Exponential Utility: Algorithms and Convergence in Discounted MDPs [2.574071344130061]
マルコフ決定過程における指数効用最適化のための強化学習(RL)は、原則的値ベースアルゴリズムを欠いている。
2つのQ値型拡張を導出し、関連する作用素が$L_infty$とsup-log/Thompsonメトリクスの縮約であることを示す。
我々は、時間スケールの分離により、ほぼ全周収束を確立し、有限時間収束率を与えるとともに、サブ線形パワーロー演算子によって制御される1時間スケールのアルゴリズムを提供する。
論文 参考訳（メタデータ） (2026-05-08T17:41:48Z) - PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory [10.93258787701145]
ギブス後方に対する明示的非漸近性PAC-Bayes一般化境界を導出する。
古典的な最悪ケースの複雑性境界は、大数の均一な法則に基づいているのとは異なり、我々の分析は、平均的な後続のリスク境界をもたらす。
論文 参考訳（メタデータ） (2026-04-19T03:00:18Z) - An Empirical Risk Minimization Approach for Offline Inverse RL and Dynamic Discrete Choice Model [8.95720650633184]
機械学習において、動的選択(DDC)モデル(オフライン最大エントロピー正規化逆強化学習(オフラインMaxEnt-IRL))を推定する問題について検討する。
目的は、オフラインの振舞いデータからエージェントの振舞いを管理する$Q*$関数をリカバリすることである。
線形パラメータ化報酬の制限的仮定を使わずにこれらの問題を解くための大域収束勾配法を提案する。
論文 参考訳（メタデータ） (2025-02-19T22:22:20Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。
提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
論文 参考訳（メタデータ） (2020-09-29T15:00:47Z) - A maximum-entropy approach to off-policy evaluation in average-reward
MDPs [54.967872716145656]
この研究は、無限水平非カウントマルコフ決定過程(MDPs)における関数近似を伴うオフ・ポリティ・アセスメント(OPE)に焦点を当てる。
提案手法は,第1の有限サンプル OPE 誤差境界であり,既存の結果がエピソードおよびディスカウントケースを超えて拡張される。
この結果から,教師あり学習における最大エントロピー的アプローチを並列化して,十分な統計値を持つ指数関数型家族分布が得られた。
論文 参考訳（メタデータ） (2020-06-17T18:13:37Z) - Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis [102.29671176698373]
我々は、割引決定過程における政策評価の問題に対処し、生成モデルの下で、ll_infty$errorに対するマルコフに依存した保証を提供する。
我々は、ポリシー評価のために、局所ミニマックス下限の両漸近バージョンと非漸近バージョンを確立し、アルゴリズムを比較するためのインスタンス依存ベースラインを提供する。
論文 参考訳（メタデータ） (2020-03-16T17:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。