論文の概要: Efficient Risk-Averse Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2205.05138v1
- Date: Tue, 10 May 2022 19:40:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-14 07:29:48.676453
- Title: Efficient Risk-Averse Reinforcement Learning
- Title（参考訳）: リスク・アバース強化学習の効率化
- Authors: Ido Greenberg, Yinlam Chow, Mohammad Ghavamzadeh, Shie Mannor
- Abstract要約: リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
- 参考スコア（独自算出の注目度）: 79.61412643761034
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In risk-averse reinforcement learning (RL), the goal is to optimize some risk
measure of the returns. A risk measure often focuses on the worst returns out
of the agent's experience. As a result, standard methods for risk-averse RL
often ignore high-return strategies. We prove that under certain conditions
this inevitably leads to a local-optimum barrier, and propose a soft risk
mechanism to bypass it. We also devise a novel Cross Entropy module for risk
sampling, which (1) preserves risk aversion despite the soft risk; (2)
independently improves sample efficiency. By separating the risk aversion of
the sampler and the optimizer, we can sample episodes with poor conditions, yet
optimize with respect to successful strategies. We combine these two concepts
in CeSoR - Cross-entropy Soft-Risk optimization algorithm - which can be
applied on top of any risk-averse policy gradient (PG) method. We demonstrate
improved risk aversion in maze navigation, autonomous driving, and resource
allocation benchmarks, including in scenarios where standard risk-averse PG
completely fails.
- Abstract（参考訳）: リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
リスク尺度は、しばしばエージェントの経験から得られる最悪のリターンに焦点を当てる。
その結果、リスク回避rlの標準的な方法は高リターン戦略をしばしば無視する。
特定の条件下では、必然的に局所最適障壁を生じさせ、それをバイパスするためのソフトリスクメカニズムを提案する。
また,リスクサンプリングのための新しいクロスエントロピーモジュールを考案し,(1)ソフトリスクにもかかわらずリスク回避を保ち,(2)サンプル効率を独立的に改善する。
スペンサーとオプティマイザのリスク回避を分離することで、低い条件でエピソードをサンプリングできるが、成功する戦略に関して最適化することができる。
我々はこれらの2つの概念をCeSoR - Cross-entropy Soft-Risk Optimization algorithm - に組み合わせ、任意のリスク-逆ポリシー勾配(PG)法に適用できる。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおけるリスク回避の改善を実証し,標準リスク回避PGが完全に失敗するシナリオを含む。
関連論文リスト
- Risk-Sensitive RL with Optimized Certainty Equivalents via Reduction to
Standard RL [48.1726560631463]
我々は,OCE(Optimized Certainty Equivalent)リスクを用いたリスク感性強化学習について検討した。
標準RLへの還元による2つの一般的なメタアルゴリズムを提案する。
我々は,事前アルゴリズムが確実に失敗する間に,最適リスク感応ポリシーを学習することを示す。
論文 参考訳（メタデータ） (2024-03-10T21:45:12Z) - Provable Risk-Sensitive Distributional Reinforcement Learning with
General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。
モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-02-28T08:43:18Z) - RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization [49.26510528455664]
本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。
RiskQは広範な実験によって有望な性能が得られることを示す。
論文 参考訳（メタデータ） (2023-11-03T07:18:36Z) - Is Risk-Sensitive Reinforcement Learning Properly Resolved? [32.42976780682353]
そこで本稿では,RSRL問題に対して最適ポリシーに収束可能な新しいアルゴリズムであるトラジェクトリQ-Learning(TQL)を提案する。
新たな学習アーキテクチャに基づいて,さまざまなリスク対応政策を学習するための,さまざまなリスク対策の汎用的かつ実践的な実装を自由に導入できる。
論文 参考訳（メタデータ） (2023-07-02T11:47:21Z) - Robust Risk-Aware Option Hedging [2.405471533561618]
本稿では、経路依存型金融デリバティブに関連するリスクを軽減するために、ロバストリスク認識強化学習(RL)の可能性を示す。
この手法をバリアオプションのヘッジに適用し、エージェントがリスク回避からリスク探究へと移行するにつれて、最適なヘッジ戦略が歪曲する方法について強調する。
論文 参考訳（メタデータ） (2023-03-27T13:57:13Z) - Risk-Averse Reinforcement Learning via Dynamic Time-Consistent Risk
Measures [10.221369785560785]
本稿では,マルコフ決定過程(MDP)における報酬列の動的リスクを最大化する問題について考察する。
予測と条件付きリスクリスク(CVaR)の凸結合を特別な一段階の条件付きリスク尺度として用いて、我々は、リスク回避型MDPを、強化されたアクション空間を持つリスク中立型として再構成し、即時報酬の操作を行う。
本研究は,リスク・アバース・セッティングが分散を低減し,その結果のロバスト性を高めることを示唆するものである。
論文 参考訳（メタデータ） (2023-01-14T21:43:18Z) - RASR: Risk-Averse Soft-Robust MDPs with EVaR and Entropic Risk [28.811725782388688]
本研究では,有限水平および割引無限水平MDPにおける不確実性に関連するリスクを共同でモデル化する新しい枠組みを提案し,分析する。
リスク回避をEVaRかエントロピーリスクのいずれかを用いて定義すると、RASRの最適ポリシーは時間依存型リスクレベルを持つ新しい動的プログラム定式化を用いて効率的に計算できることを示す。
論文 参考訳（メタデータ） (2022-09-09T00:34:58Z) - Automatic Risk Adaptation in Distributional Reinforcement Learning [26.113528145137497]
実践的応用における強化学習(RL)エージェントの使用は、最適以下の結果を考慮する必要がある。
これは特に安全クリティカルな環境において重要であり、エラーは高いコストや損害をもたらす可能性がある。
リスク認識エージェントとリスク認識エージェントの両方と比較して, 失敗率を最大7倍に低下させ, 一般化性能を最大14%向上させた。
論文 参考訳（メタデータ） (2021-06-11T11:31:04Z) - Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。
最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文 参考訳（メタデータ） (2020-06-15T05:25:02Z) - Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning [75.17074235764757]
割引無限地平線MDPにおけるリスク・アバース制御の枠組みを提案する。
MVPIは、政策評価方法やリスクニュートラル制御手法を棚から外すためのリスク・アバース制御に投入できる点において、非常に柔軟性がある。
この柔軟性は、リスク中立制御とリスク逆制御のギャップを減らし、新しい拡張MDPの開発によって達成される。
論文 参考訳（メタデータ） (2020-04-22T22:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。