論文の概要: A Reductions Approach to Risk-Sensitive Reinforcement Learning with Optimized Certainty Equivalents

• arxiv url: http://arxiv.org/abs/2403.06323v2
• Date: Fri, 28 Feb 2025 02:35:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:37:53.957081
• Title: A Reductions Approach to Risk-Sensitive Reinforcement Learning with Optimized Certainty Equivalents
• Title（参考訳）: 最適不確実性等価性を用いたリスク感性強化学習の削減手法
• Authors: Kaiwen Wang, Dawen Liang, Nathan Kallus, Wen Sun,
• Abstract要約: 本研究の目的は,累積報酬のリスク尺度を最適化する履歴依存政策を学習することである。 楽観主義に基づくメタアルゴリズムと政策勾配に基づくメタアルゴリズムを提案する。 我々は,提案アルゴリズムが概念実証MDPで最適な履歴依存ポリシーを学習できることを実証的に示す。
• 参考スコア（独自算出の注目度）: 44.09686403685058
• License:
• Abstract: We study risk-sensitive RL where the goal is learn a history-dependent policy that optimizes some risk measure of cumulative rewards. We consider a family of risks called the optimized certainty equivalents (OCE), which captures important risk measures such as conditional value-at-risk (CVaR), entropic risk and Markowitz's mean-variance. In this setting, we propose two meta-algorithms: one grounded in optimism and another based on policy gradients, both of which can leverage the broad suite of risk-neutral RL algorithms in an augmented Markov Decision Process (MDP). Via a reductions approach, we leverage theory for risk-neutral RL to establish novel OCE bounds in complex, rich-observation MDPs. For the optimism-based algorithm, we prove bounds that generalize prior results in CVaR RL and that provide the first risk-sensitive bounds for exogenous block MDPs. For the gradient-based algorithm, we establish both monotone improvement and global convergence guarantees under a discrete reward assumption. Finally, we empirically show that our algorithms learn the optimal history-dependent policy in a proof-of-concept MDP, where all Markovian policies provably fail.
• Abstract（参考訳）: 本研究の目的は,累積報酬のリスク尺度を最適化する履歴依存政策を学習することである。 我々は,条件付きリスク・アット・リスク(CVaR)やエントロピーリスク,マルコウィッツの平均分散といった重要なリスク対策を捉える,最適化された確実性等価性(OCE)と呼ばれるリスクのファミリーを考察する。 本稿では,最適化に基づくメタアルゴリズムと,リスクニュートラルなRLアルゴリズムを拡張マルコフ決定プロセス(MDP)で活用可能なポリシ勾配に基づくメタアルゴリズムを提案する。 リスクニュートラルRLの理論を利用して、複雑でリッチなMDPに新しいOCE境界を確立する。 楽観主義に基づくアルゴリズムでは,CVaR RLにおける先行結果を一般化するバウンダリを証明し,外因性ブロック MDP に対する最初のリスク感受性バウンダリを提供する。 勾配に基づくアルゴリズムでは、単調改善と大域収束保証の両方を離散的な報酬仮定の下で確立する。 最後に、我々のアルゴリズムは、すべてのマルコフポリシーが確実に失敗する概念実証MDPにおいて、最適な歴史に依存したポリシーを学ぶことを実証的に示す。

関連論文リスト

• Beyond CVaR: Leveraging Static Spectral Risk Measures for Enhanced Decision-Making in Distributional Reinforcement Learning [4.8342038441006805]
  金融、ヘルスケア、ロボティクスといった分野では、最悪のシナリオを管理することが重要です。 分散強化学習(DRL)は、リスク感受性を意思決定プロセスに組み込む自然な枠組みを提供する。 より広範な静的スペクトルリスク対策(SRM)を最適化する収束保証付きDRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-03T20:25:41Z)
• Pessimism Meets Risk: Risk-Sensitive Offline Reinforcement Learning [19.292214425524303]
  リスクに敏感な強化学習(RL)は,不確実性を管理し,潜在的な有害な結果を最小限に抑えることが不可欠であるシナリオにおいて,意思決定を強化する能力において重要な分野である。 本研究は, エントロピーリスク尺度をRL問題に適用することに焦点を当てる。 我々は,リスクに敏感な観点からはまだ検討されていない理論的枠組みである線形マルコフ決定プロセス(MDP)の設定を中心としている。
  論文  参考訳（メタデータ） (2024-07-10T13:09:52Z)
• Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
  本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。 モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-02-28T08:43:18Z)
• Risk-sensitive Markov Decision Process and Learning under General Utility Functions [3.069335774032178]
  強化学習(Reinforcement Learning, RL)は、様々な応用分野や理論的研究において大きな注目を集めている。 意思決定プロセス(MDP)の枠組みにおいて,意思決定者が累積報酬の汎用機能を最適化しようとするシナリオを考える。 累積報酬の空間上でのエプシロン被覆を用いた修正値反復アルゴリズムを提案する。 シミュレータが存在しない場合,提案アルゴリズムは高信頼度探索法を用いて設計され,ほぼ最適ポリシーを同定する。
  論文  参考訳（メタデータ） (2023-11-22T18:50:06Z)
• Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback [57.6775169085215]
  リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。 本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。 本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
  論文  参考訳（メタデータ） (2023-07-06T08:14:54Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• Robustness and risk management via distributional dynamic programming [13.173307471333619]
  我々は,政策評価のための実用的なDPアルゴリズムとともに,分散演算子の新しいクラスを導入する。 我々の手法は、各状態が最悪の部分状態と最良の部分状態に分割される拡張状態空間を通して再構成される。 我々は、分散演算子とDPアルゴリズムを導出し、新しい制御課題を解決する。
  論文  参考訳（メタデータ） (2021-12-28T12:12:57Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。