論文の概要: Bayesian Risk-Sensitive Policy Optimization For MDPs With General Loss Functions

• arxiv url: http://arxiv.org/abs/2509.15509v2
• Date: Tue, 30 Sep 2025 19:16:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 14:33:21.753511
• Title: Bayesian Risk-Sensitive Policy Optimization For MDPs With General Loss Functions
• Title（参考訳）: 一般損失関数を持つMDPに対するベイズ的リスク感性政策最適化
• Authors: Xiaoshuang Wang, Yifan Lin, Enlu Zhou,
• Abstract要約: 我々は、一般的な損失関数と未知のパラメータを持つマルコフ決定過程(MDP)を考察する。 我々はベイズ的手法を用いてデータからパラメータを推定し、損失にコヒーレントなリスク関数を課す。 本稿では,コヒーレントリスク尺度の二重表現を利用した政策勾配最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 8.16996766356341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivated by many application problems, we consider Markov decision processes (MDPs) with a general loss function and unknown parameters. To mitigate the epistemic uncertainty associated with unknown parameters, we take a Bayesian approach to estimate the parameters from data and impose a coherent risk functional (with respect to the Bayesian posterior distribution) on the loss. Since this formulation usually does not satisfy the interchangeability principle, it does not admit Bellman equations and cannot be solved by approaches based on dynamic programming. Therefore, We propose a policy gradient optimization method, leveraging the dual representation of coherent risk measures and extending the envelope theorem to continuous cases. We then show the stationary analysis of the algorithm with a convergence rate of $\mathcal{O}(T^{-1/2}+r^{-1/2})$, where $T$ is the number of policy gradient iterations and $r$ is the sample size of the gradient estimator. We further extend our algorithm to an episodic setting, and establish the global convergence of the extended algorithm and provide bounds on the number of iterations needed to achieve an error bound $\mathcal{O}(\epsilon)$ in each episode.
• Abstract（参考訳）: 多くのアプリケーション問題により、一般的な損失関数と未知のパラメータを持つマルコフ決定過程(MDP)を考える。 未知のパラメータに関連するてんかんの不確実性を緩和するため,データからパラメータを推定し,損失に対して(ベイジアン後部分布に関して)コヒーレントなリスク関数を課すベイジアンアプローチを用いる。 この定式化は通常交換性原理を満たさないため、ベルマン方程式を認めず、動的プログラミングに基づくアプローチでは解けない。 そこで本研究では,コヒーレントリスク尺度の双対表現を活用し,エンベロープ定理を連続例に拡張する政策勾配最適化手法を提案する。 次に、このアルゴリズムの定常解析を$\mathcal{O}(T^{-1/2}+r^{-1/2})$で示す。 さらに、我々のアルゴリズムをエピソード的な設定に拡張し、拡張されたアルゴリズムのグローバル収束を確立し、各エピソードにおいて$\mathcal{O}(\epsilon)$の誤差を達成するのに必要なイテレーション数に関するバウンダリを提供する。

関連論文リスト

• A Finite-Sample Analysis of an Actor-Critic Algorithm for Mean-Variance Optimization in a Discounted MDP [1.0923877073891446]
  政策評価のために線形関数近似(LFA)を用いた時間差分学習アルゴリズムを解析する。 我々は、(i) を平均二乗の意味で保持し、(ii) を尾の反復平均化の下で高い確率で導く有限サンプル境界を導出する。 これらの結果は、強化学習におけるリスクに敏感なアクター批判法に対する有限サンプル理論的保証を確立する。
  論文  参考訳（メタデータ） (2024-06-12T05:49:53Z)
• Reinforcement Learning for Infinite-Horizon Average-Reward Linear MDPs via Approximation by Discounted-Reward MDPs [16.49229317664822]
  線形決定過程(MDP)を用いた無限水平平均逆強化学習の問題点について検討する。 提案手法は, 平均再帰設定を割引係数で近似し, 楽観的な値反復を適用した。
  論文  参考訳（メタデータ） (2024-05-23T20:58:33Z)
• Sample-Efficient Constrained Reinforcement Learning with General Parameterization [35.22742439337603]
  エージェントの目標は、無限の地平線上で期待される割引報酬の和を最大化することである。 我々は,世界最適性ギャップを$epsilon$で保証し,制約違反を$epsilon$で保証するPrimal-Dual Accelerated Natural Policy Gradient (PD-ANPG)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-05-17T08:39:05Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• First-order Policy Optimization for Robust Markov Decision Process [40.2022466644885]
  我々はロバストマルコフ決定過程(MDP)の解法を考える。 MDPは、不確実な遷移カーネルを持つ割引状態、有限状態、有限作用空間 MDP の集合を含む。 $(mathbfs,mathbfa)$-矩形不確かさ集合に対して、ロバストな目的に関するいくつかの構造的な観察を確立する。
  論文  参考訳（メタデータ） (2022-09-21T18:10:28Z)
• Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
  マルコフ決定過程における純粋探索問題について検討する。 エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
  論文  参考訳（メタデータ） (2021-06-05T09:16:28Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。