論文の概要: Pessimism Meets Risk: Risk-Sensitive Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2407.07631v1
• Date: Wed, 10 Jul 2024 13:09:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 16:32:05.853961
• Title: Pessimism Meets Risk: Risk-Sensitive Offline Reinforcement Learning
• Title（参考訳）: リスクに直面するペシミズム:リスクに敏感なオフライン強化学習
• Authors: Dake Zhang, Boxiang Lyu, Shuang Qiu, Mladen Kolar, Tong Zhang,
• Abstract要約: リスクに敏感な強化学習(RL)は,不確実性を管理し,潜在的な有害な結果を最小限に抑えることが不可欠であるシナリオにおいて,意思決定を強化する能力において重要な分野である。 本研究は, エントロピーリスク尺度をRL問題に適用することに焦点を当てる。 我々は,リスクに敏感な観点からはまだ検討されていない理論的枠組みである線形マルコフ決定プロセス(MDP)の設定を中心としている。
• 参考スコア（独自算出の注目度）: 19.292214425524303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study risk-sensitive reinforcement learning (RL), a crucial field due to its ability to enhance decision-making in scenarios where it is essential to manage uncertainty and minimize potential adverse outcomes. Particularly, our work focuses on applying the entropic risk measure to RL problems. While existing literature primarily investigates the online setting, there remains a large gap in understanding how to efficiently derive a near-optimal policy based on this risk measure using only a pre-collected dataset. We center on the linear Markov Decision Process (MDP) setting, a well-regarded theoretical framework that has yet to be examined from a risk-sensitive standpoint. In response, we introduce two provably sample-efficient algorithms. We begin by presenting a risk-sensitive pessimistic value iteration algorithm, offering a tight analysis by leveraging the structure of the risk-sensitive performance measure. To further improve the obtained bounds, we propose another pessimistic algorithm that utilizes variance information and reference-advantage decomposition, effectively improving both the dependence on the space dimension $d$ and the risk-sensitivity factor. To the best of our knowledge, we obtain the first provably efficient risk-sensitive offline RL algorithms.
• Abstract（参考訳）: リスクに敏感な強化学習(RL)は,不確実性を管理し,潜在的な有害な結果を最小限に抑えることが不可欠であるシナリオにおいて,意思決定を強化する能力において重要な分野である。 特に本研究は, エントロピーリスク尺度をRL問題に適用することに焦点を当てている。 既存の文献は、主にオンライン設定を調査しているが、このリスク尺度に基づいて、事前収集されたデータセットのみを使用して、最適に近いポリシーを効率的に導き出す方法を理解するには、大きなギャップが残っている。 我々は,リスクに敏感な観点からはまだ検討されていない理論的枠組みである線形マルコフ決定プロセス(MDP)の設定を中心としている。 そこで本研究では,2つのサンプル効率アルゴリズムを提案する。 まず,リスク感応性評価尺度の構造を活用することで,リスク感応性評価反復アルゴリズムを提案する。 得られたバウンダリをさらに改善するために、分散情報と参照アドバンテージ分解を利用して、空間次元$d$とリスク感度係数の両方への依存性を効果的に改善する悲観的アルゴリズムを提案する。 我々の知識を最大限に活用するために、我々は最初に証明可能なリスクに敏感なオフラインRLアルゴリズムを得る。

関連論文リスト

• Spectral-Risk Safe Reinforcement Learning with Convergence Guarantees [13.470544618339506]
  本稿では、スペクトルリスク尺度制約付きRLアルゴリズム、スペクトルリスク制約付きポリシー最適化(SRCPO)を提案する。 双レベル最適化構造では、外部問題はリスク測度から導出される双対変数を最適化することであり、内部問題は最適ポリシーを見つけることである。 提案手法は連続制御タスク上で評価され,制約を満たす他のRCRLアルゴリズムの中で最高の性能を示した。
  論文  参考訳（メタデータ） (2024-05-29T02:17:25Z)
• Robust Risk-Sensitive Reinforcement Learning with Conditional Value-at-Risk [23.63388546004777]
  我々はロバスト・マルコフ決定過程の下でCVaRに基づくリスク感受性RLのロバスト性を分析する。 実世界の問題における意思決定依存の不確実性の存在を動機として、状態行動依存曖昧性集合による問題を研究する。
  論文  参考訳（メタデータ） (2024-05-02T20:28:49Z)
• Risk-Sensitive RL with Optimized Certainty Equivalents via Reduction to Standard RL [48.1726560631463]
  我々は,OCE(Optimized Certainty Equivalent)リスクを用いたリスク感性強化学習について検討した。 標準RLへの還元による2つの一般的なメタアルゴリズムを提案する。 我々は,事前アルゴリズムが確実に失敗する間に,最適リスク感応ポリシーを学習することを示す。
  論文  参考訳（メタデータ） (2024-03-10T21:45:12Z)
• Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
  本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。 モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-02-28T08:43:18Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [63.32053223422317]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback [57.6775169085215]
  リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。 本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。 本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
  論文  参考訳（メタデータ） (2023-07-06T08:14:54Z)
• One Risk to Rule Them All: A Risk-Sensitive Perspective on Model-Based Offline Reinforcement Learning [25.218430053391884]
  両問題に共同で対処するためのメカニズムとしてリスク感受性を提案する。 相対的不確実性へのリスク回避は、環境に悪影響を及ぼす可能性のある行動を妨げる。 実験の結果,提案アルゴリズムは決定論的ベンチマーク上での競合性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-11-30T21:24:11Z)
• Risk-Aware Linear Bandits: Theory and Applications in Smart Order Routing [10.69955834942979]
  スマート・オーダー・ルーティング(SOR)におけるリスク・アウェア・バンディットの最適化について検討する。 分散最小化グローバル最適化(G-Optimal)設計により、新しいインスタンス非依存型リスク意識探索-then-Commit(RISE)アルゴリズムとインスタンス依存型リスク意識継承排除(RISE++)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-04T00:21:10Z)
• Deep Learning for Systemic Risk Measures [3.274367403737527]
  本研究の目的は,システム的リスク対策のための新しい方法論の枠組みを検討することである。 この新たな枠組みの下で、システム的リスク対策は、集約されたシステムを保護する最小限の現金として解釈できる。 ディープラーニングは、金融モデリングやリスク管理においてますます注目を集めている。
  論文  参考訳（メタデータ） (2022-07-02T05:01:19Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Learning Bounds for Risk-sensitive Learning [86.50262971918276]
  リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。 最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
  論文  参考訳（メタデータ） (2020-06-15T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。