論文の概要: One Risk to Rule Them All: Addressing Distributional Shift in Offline
Reinforcement Learning via Risk-Aversion
- arxiv url: http://arxiv.org/abs/2212.00124v2
- Date: Fri, 2 Jun 2023 11:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 20:25:44.186103
- Title: One Risk to Rule Them All: Addressing Distributional Shift in Offline
Reinforcement Learning via Risk-Aversion
- Title（参考訳）: すべてを支配するリスク:リスク回避によるオフライン強化学習の分散的変化に対処する
- Authors: Marc Rigter, Bruno Lacerda, Nick Hawes
- Abstract要約: オフライン強化学習(RL)は、オンライン探索が不可能な安全クリティカルドメインに適している。
オフラインRLにおけるリスクに関する以前の研究は、(分布シフトを避けるために)オフラインRL技術と(リスク回避を達成するために)リスクに敏感なRLアルゴリズムを組み合わせる。
これら2つの問題に共同で対処するためのメカニズムとしてリスク回避を提案する。
- 参考スコア（独自算出の注目度）: 11.183124892686239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Offline reinforcement learning (RL) is suitable for safety-critical domains
where online exploration is not feasible. In such domains, decision-making
should take into consideration the risk of catastrophic outcomes. In other
words, decision-making should be risk-averse. An additional challenge of
offline RL is avoiding distributional shift, i.e. ensuring that state-action
pairs visited by the policy remain near those in the dataset. Previous works on
risk in offline RL combine offline RL techniques (to avoid distributional
shift), with risk-sensitive RL algorithms (to achieve risk-aversion). In this
work, we propose risk-aversion as a mechanism to jointly address both of these
issues. We propose a model-based approach, and use an ensemble of models to
estimate epistemic uncertainty, in addition to aleatoric uncertainty. We train
a policy that is risk-averse, and avoids high uncertainty actions.
Risk-aversion to epistemic uncertainty prevents distributional shift, as areas
not covered by the dataset have high epistemic uncertainty. Risk-aversion to
aleatoric uncertainty discourages actions that are inherently risky due to
environment stochasticity. Thus, by only introducing risk-aversion, we avoid
distributional shift in addition to achieving risk-aversion to aleatoric risk.
Our algorithm, 1R2R, achieves strong performance on deterministic benchmarks,
and outperforms existing approaches for risk-sensitive objectives in stochastic
domains.
- Abstract（参考訳）: オフライン強化学習(RL)は、オンライン探索が不可能な安全クリティカルドメインに適している。
このような領域では、意思決定は破滅的な結果のリスクを考慮すべきである。
言い換えれば、意思決定はリスク回避であるべきです。
オフラインRLのさらなる課題は、分散シフトを避けることであり、すなわち、ポリシーが訪れた状態-アクションペアがデータセットの近くにあることを保証することである。
オフラインRLのリスクに関する以前の研究は、オフラインRL技術(分散シフトを避けるために)とリスクに敏感なRLアルゴリズム(リスク回避を達成するために)を組み合わせる。
本研究では,これらの問題に共同で対処するメカニズムとしてリスク回避を提案する。
本稿では, モデルベースアプローチを提案するとともに, モデルアンサンブルを用いてててんかんの不確実性を推定する。
我々はリスク回避政策を訓練し、高い不確実性行動を避ける。
エピステマ性不確実性へのリスク回避は、データセットがカバーしていない領域がエピステマ性不確実性が高いため、分布シフトを妨げる。
相対的不確実性へのリスク回避は、環境確率性のために本質的に危険である行動を妨げる。
したがって, リスク回避を導入するだけで, リスク回避の達成に加えて, 分布シフトを回避できる。
我々のアルゴリズムである1R2Rは、決定論的ベンチマークにおいて高い性能を達成し、確率的領域におけるリスクに敏感な目標に対する既存のアプローチよりも優れている。
関連論文リスト
- Beyond CVaR: Leveraging Static Spectral Risk Measures for Enhanced Decision-Making in Distributional Reinforcement Learning [4.8342038441006805]
金融、ヘルスケア、ロボティクスといった分野では、最悪のシナリオを管理することが重要です。
分散強化学習(DRL)は、リスク感受性を意思決定プロセスに組み込む自然な枠組みを提供する。
より広範な静的スペクトルリスク対策(SRM)を最適化する収束保証付きDRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-01-03T20:25:41Z) - Pessimism Meets Risk: Risk-Sensitive Offline Reinforcement Learning [19.292214425524303]
リスクに敏感な強化学習(RL)は,不確実性を管理し,潜在的な有害な結果を最小限に抑えることが不可欠であるシナリオにおいて,意思決定を強化する能力において重要な分野である。
本研究は, エントロピーリスク尺度をRL問題に適用することに焦点を当てる。
我々は,リスクに敏感な観点からはまだ検討されていない理論的枠組みである線形マルコフ決定プロセス(MDP)の設定を中心としている。
論文 参考訳（メタデータ） (2024-07-10T13:09:52Z) - Data-Adaptive Tradeoffs among Multiple Risks in Distribution-Free Prediction [55.77015419028725]
しきい値とトレードオフパラメータが適応的に選択された場合、リスクの有効な制御を可能にする手法を開発する。
提案手法は単調なリスクとほぼ単調なリスクをサポートするが,それ以外は分布的な仮定はしない。
論文 参考訳（メタデータ） (2024-03-28T17:28:06Z) - Uncertainty-aware Distributional Offline Reinforcement Learning [26.34178581703107]
オフライン強化学習(RL)は、観測データのみに依存するため、異なる課題を提示する。
本研究では,不確実性と環境の両面に同時に対処する不確実性を考慮したオフラインRL法を提案する。
本手法は,リスク感受性ベンチマークとリスクニュートラルベンチマークの両方で総合評価を行い,その優れた性能を実証した。
論文 参考訳（メタデータ） (2024-03-26T12:28:04Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization [49.26510528455664]
本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。
RiskQは広範な実験によって有望な性能が得られることを示す。
論文 参考訳（メタデータ） (2023-11-03T07:18:36Z) - Provably Efficient Iterated CVaR Reinforcement Learning with Function
Approximation and Human Feedback [57.6775169085215]
リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。
本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。
本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
論文 参考訳（メタデータ） (2023-07-06T08:14:54Z) - RASR: Risk-Averse Soft-Robust MDPs with EVaR and Entropic Risk [28.811725782388688]
本研究では,有限水平および割引無限水平MDPにおける不確実性に関連するリスクを共同でモデル化する新しい枠組みを提案し,分析する。
リスク回避をEVaRかエントロピーリスクのいずれかを用いて定義すると、RASRの最適ポリシーは時間依存型リスクレベルを持つ新しい動的プログラム定式化を用いて効率的に計算できることを示す。
論文 参考訳（メタデータ） (2022-09-09T00:34:58Z) - Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文 参考訳（メタデータ） (2022-05-10T19:40:52Z) - Addressing Inherent Uncertainty: Risk-Sensitive Behavior Generation for
Automated Driving using Distributional Reinforcement Learning [0.0]
自動運転車におけるリスク感応行動生成のための2段階のアプローチを提案する。
まず, 深層分布強化学習を用いて, 不確実な環境下で最適政策を学習する。
実行中は、確立されたリスク基準を適用して最適なリスク感受性行動を選択する。
論文 参考訳（メタデータ） (2021-02-05T11:45:12Z) - Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。
最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文 参考訳（メタデータ） (2020-06-15T05:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。