論文の概要: Robust Reinforcement Learning with Dynamic Distortion Risk Measures

• arxiv url: http://arxiv.org/abs/2409.10096v1
• Date: Mon, 16 Sep 2024 08:54:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 16:09:48.765609
• Title: Robust Reinforcement Learning with Dynamic Distortion Risk Measures
• Title（参考訳）: 動的歪みリスク対策を用いたロバスト強化学習
• Authors: Anthony Coache, Sebastian Jaimungal,
• Abstract要約: 我々は、堅牢なリスク対応強化学習問題を解決するための枠組みを考案した。 我々は, 環境の不確実性とリスクを, 動的に頑健な歪みリスク対策のクラスで同時に考慮する。 本研究では,リスクを意識したRL問題の解法としてアクター批判アルゴリズムを構築した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In a reinforcement learning (RL) setting, the agent's optimal strategy heavily depends on her risk preferences and the underlying model dynamics of the training environment. These two aspects influence the agent's ability to make well-informed and time-consistent decisions when facing testing environments. In this work, we devise a framework to solve robust risk-aware RL problems where we simultaneously account for environmental uncertainty and risk with a class of dynamic robust distortion risk measures. Robustness is introduced by considering all models within a Wasserstein ball around a reference model. We estimate such dynamic robust risk measures using neural networks by making use of strictly consistent scoring functions, derive policy gradient formulae using the quantile representation of distortion risk measures, and construct an actor-critic algorithm to solve this class of robust risk-aware RL problems. We demonstrate the performance of our algorithm on a portfolio allocation example.
• Abstract（参考訳）: 強化学習(RL)では、エージェントの最適戦略は、トレーニング環境のリスク嗜好と基礎となるモデルダイナミクスに大きく依存する。 これらの2つの側面は、テスト環境に直面するとき、エージェントが適切にインフォームドされ、時間に一貫性のある意思決定を行う能力に影響を与える。 本研究では, 環境の不確かさとリスクを同時に考慮し, 動的に頑健な歪みリスク対策のクラスで, 頑健なリスク認識型RL問題を解決するための枠組みを考案する。 ロバスト性は、参照モデルを取り巻くワッサーシュタイン球内のすべてのモデルを考えることによってもたらされる。 本研究では,厳密なスコアリング関数を用いてニューラルネットワークを用いた動的ロバストリスク尺度を推定し,歪みリスク尺度の量子表現を用いたポリシー勾配式を導出し,このようなロバストリスク対応RL問題を解くためにアクタ批判アルゴリズムを構築した。 ポートフォリオ割り当ての例で,本アルゴリズムの性能を実演する。

関連論文リスト

• Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
  本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。 モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-02-28T08:43:18Z)
• Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback [57.6775169085215]
  リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。 本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。 本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
  論文  参考訳（メタデータ） (2023-07-06T08:14:54Z)
• RASR: Risk-Averse Soft-Robust MDPs with EVaR and Entropic Risk [28.811725782388688]
  本研究では,有限水平および割引無限水平MDPにおける不確実性に関連するリスクを共同でモデル化する新しい枠組みを提案し,分析する。 リスク回避をEVaRかエントロピーリスクのいずれかを用いて定義すると、RASRの最適ポリシーは時間依存型リスクレベルを持つ新しい動的プログラム定式化を用いて効率的に計算できることを示す。
  論文  参考訳（メタデータ） (2022-09-09T00:34:58Z)
• Conditionally Elicitable Dynamic Risk Measures for Deep Reinforcement Learning [0.0]
  我々は,ディープニューラルネットワークを用いた動的スペクトルリスク尺度のクラスを推定する効率的な手法を開発した。 また,リスクに敏感なアクター・クリティック・アルゴリズムも開発しており,追加のネスト・トランジションを必要としない。
  論文  参考訳（メタデータ） (2022-06-29T14:11:15Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• Reinforcement Learning with Dynamic Convex Risk Measures [0.0]
  モデルレス強化学習(RL)を用いた時間一貫性リスク感応的最適化問題の解法を開発する。 我々は、時間一貫性のある動的プログラミング原則を用いて、特定のポリシーの価値を決定し、ポリシー勾配更新ルールを開発する。
  論文  参考訳（メタデータ） (2021-12-26T16:41:05Z)
• Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation [78.17108227614928]
  本研究では,水文ナビゲーションに着目した安全強化学習のためのベンチマーク環境を提案する。 価値に基づく政策段階の深層強化学習(DRL)について考察する。 また,学習したモデルの振る舞いを所望の特性の集合上で検証する検証戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-16T16:53:56Z)
• Entropic Risk Constrained Soft-Robust Policy Optimization [12.362670630646805]
  モデル不確実性によって引き起こされるリスクを定量化し、管理することは、高リスク領域において重要である。 本稿では,モデルの不確実性に対するリスクに反する,エントロピー的リスク制約付きポリシー勾配とアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-20T23:48:28Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)
• Robust Reinforcement Learning with Wasserstein Constraint [49.86490922809473]
  最適なロバストなポリシーの存在を示し、摂動に対する感度分析を行い、新しいロバストな学習アルゴリズムを設計する。 提案アルゴリズムの有効性はCart-Pole環境で検証する。
  論文  参考訳（メタデータ） (2020-06-01T13:48:59Z)
• Improving Robustness via Risk Averse Distributional Reinforcement Learning [13.467017642143581]
  実環境ではなくシミュレーションでポリシーが訓練される場合、ロバスト性は重要である。 本研究では,シミュレーショントレーニングと実世界の実装のギャップを埋めるため,ロバストなポリシーを学習するためのリスク認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-01T20:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。