論文の概要: Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization

• arxiv url: http://arxiv.org/abs/2312.04386v3
• Date: Tue, 17 Sep 2024 09:37:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 22:50:44.565218
• Title: Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization
• Title（参考訳）: リスク対応政策最適化のためのモデルに基づく評価値の変動
• Authors: Carlos E. Luis, Alessandro G. Bottero, Julia Vinogradska, Felix Berkenkamp, Jan Peters,
• Abstract要約: モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
• 参考スコア（独自算出の注目度）: 59.758009422067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of quantifying uncertainty over expected cumulative rewards in model-based reinforcement learning. In particular, we focus on characterizing the variance over values induced by a distribution over Markov decision processes (MDPs). Previous work upper bounds the posterior variance over values by solving a so-called uncertainty Bellman equation (UBE), but the over-approximation may result in inefficient exploration. We propose a new UBE whose solution converges to the true posterior variance over values and leads to lower regret in tabular exploration problems. We identify challenges to apply the UBE theory beyond tabular problems and propose a suitable approximation. Based on this approximation, we introduce a general-purpose policy optimization algorithm, Q-Uncertainty Soft Actor-Critic (QU-SAC), that can be applied for either risk-seeking or risk-averse policy optimization with minimal changes. Experiments in both online and offline RL demonstrate improved performance compared to other uncertainty estimation methods.
• Abstract（参考訳）: モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 特に,マルコフ決定過程(MDP)上の分布によって引き起こされる値の分散を特徴付けることに着目する。 従来の作業は、いわゆる不確実ベルマン方程式(UBE)を解くことによって、値よりも後方の分散を上限とするが、過剰近似は非効率な探索をもたらす可能性がある。 提案手法は,値の真後分散に収束し,表層探査問題における後悔度を低下させる新しいUBEを提案する。 本稿では,UBE理論を表計算問題を超えて適用するための課題を特定し,適切な近似法を提案する。 この近似に基づいて,Q-Uncertainty Soft Actor-Critic (QU-SAC) という汎用ポリシー最適化アルゴリズムを導入する。 オンラインRLとオフラインRLの両方の実験では、他の不確実性推定法と比較して性能が向上した。

関連論文リスト

• Pitfall of Optimism: Distributional Reinforcement Learning by Randomizing Risk Criterion [9.35556128467037]
  本稿では,リスクの一方的な傾向を避けるために,リスク基準のランダム化によって行動を選択する新しい分散強化学習アルゴリズムを提案する。 理論的結果は,提案手法がバイアス探索に該当せず,最適回帰に収束することが保証されていることを裏付けるものである。
  論文  参考訳（メタデータ） (2023-10-25T10:53:04Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Regret Bounds for Markov Decision Processes with Recursive Optimized Certainty Equivalents [3.8980564330208662]
  本稿では,新しいエピソード型リスク感応型強化学習法を提案する。 本研究では,値反復と高信頼度境界に基づく効率的な学習アルゴリズムを設計する。 我々の限界は,提案アルゴリズムが達成した後悔率は,エピソード数とアクション数に最適に依存することを示している。
  論文  参考訳（メタデータ） (2023-01-30T01:22:31Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• Mean-Semivariance Policy Optimization via Risk-Averse Reinforcement Learning [12.022303947412917]
  本稿では,強化学習における平均半変量基準の最適化を目的とした。 我々は,政策依存型報酬関数を用いて一連のRL問題を反復的に解くことで,MSV問題を解くことができることを明らかにした。 政策勾配理論と信頼領域法に基づく2つのオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-15T08:32:53Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Risk-Averse Bayes-Adaptive Reinforcement Learning [3.5289688061934963]
  ベイズ適応マルコフ決定過程(MDP)における総リターンの条件値(CVaR)を最適化する問題を提起する。 この設定でCVaRを最適化する政策は、MDPの事前分布によるパラメトリック不確実性と、MDPの固有性による内部不確実性の両方に反するものである。 我々の実験は,本手法がこの問題に対するベースラインアプローチより著しく優れていることを示した。
  論文  参考訳（メタデータ） (2021-02-10T22:34:33Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Thompson Sampling Algorithms for Mean-Variance Bandits [97.43678751629189]
  我々は平均分散MABのためのトンプソンサンプリング型アルゴリズムを開発した。 我々はまた、ガウシアンとベルヌーイの盗賊に対する包括的後悔の分析も提供する。 我々のアルゴリズムは、全てのリスク許容度に対して既存のLCBベースのアルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2020-02-01T15:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。