Fugu-MT 論文翻訳(概要): Risk Perspective Exploration in Distributional Reinforcement Learning

論文の概要: Risk Perspective Exploration in Distributional Reinforcement Learning

arxiv url: http://arxiv.org/abs/2206.14170v1
Date: Tue, 28 Jun 2022 17:37:34 GMT
ステータス: 処理完了
システム内更新日: 2022-06-29 13:56:28.872959
Title: Risk Perspective Exploration in Distributional Reinforcement Learning
Title（参考訳）: 分布強化学習におけるリスクパースペクティブ探索
Authors: Jihwan Oh, Joonkee Kim, Se-Young Yun
Abstract要約: リスクレベルでのリスクレベルと楽観的な振る舞いを探索するリスクスケジューリング手法を提案する。マルチエージェント環境でのリスクスケジューリングを用いたDMIXアルゴリズムの性能向上を示す。
参考スコア（独自算出の注目度）: 10.441880303257468
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Distributional reinforcement learning demonstrates state-of-the-art performance in continuous and discrete control settings with the features of variance and risk, which can be used to explore. However, the exploration method employing the risk property is hard to find, although numerous exploration methods in Distributional RL employ the variance of return distribution per action. In this paper, we present risk scheduling approaches that explore risk levels and optimistic behaviors from a risk perspective. We demonstrate the performance enhancement of the DMIX algorithm using risk scheduling in a multi-agent setting with comprehensive experiments.
Abstract（参考訳）: 分散強化学習は、分散とリスクの特徴を持つ連続的かつ離散的な制御環境での最先端のパフォーマンスを示し、探索に使用できる。しかし, リスク特性を用いた探査法は見つからないが, 分布RLにおける多くの探査法では, 行動ごとの戻り分布の分散が採用されている。本稿では,リスクの観点からリスクレベルや楽観的な行動を検討するリスクスケジューリング手法を提案する。本稿では,リスクスケジューリングを用いたDMIXアルゴリズムの性能向上を総合実験によるマルチエージェント環境で実証する。

関連論文リスト

Data-Adaptive Tradeoffs among Multiple Risks in Distribution-Free Prediction [55.77015419028725]
しきい値とトレードオフパラメータが適応的に選択された場合、リスクの有効な制御を可能にする手法を開発する。提案手法は単調なリスクとほぼ単調なリスクをサポートするが,それ以外は分布的な仮定はしない。
論文参考訳（メタデータ） (2024-03-28T17:28:06Z)
Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文参考訳（メタデータ） (2024-02-28T08:43:18Z)
Pitfall of Optimism: Distributional Reinforcement Learning by Randomizing Risk Criterion [9.35556128467037]
本稿では,リスクの一方的な傾向を避けるために,リスク基準のランダム化によって行動を選択する新しい分散強化学習アルゴリズムを提案する。理論的結果は,提案手法がバイアス探索に該当せず,最適回帰に収束することが保証されていることを裏付けるものである。
論文参考訳（メタデータ） (2023-10-25T10:53:04Z)
Extreme Risk Mitigation in Reinforcement Learning using Extreme Value Theory [10.288413564829579]
リスク認識の重要な側面は、破滅的な結果をもたらす可能性のある非常に稀なリスクイベント(リワード)をモデル化することである。リスクを意識したRL手法は存在するが、リスク回避のレベルは状態-作用値関数の推定の精度に大きく依存している。本研究では、状態-作用値関数分布によって予測される極端な値の予測を精査することに着目し、非常に稀で危険な事象に直面した場合のRLエージェントのレジリエンスを高めることを提案する。
論文参考訳（メタデータ） (2023-08-24T18:23:59Z)
Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback [57.6775169085215]
リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
論文参考訳（メタデータ） (2023-07-06T08:14:54Z)
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning [9.290757451344673]
分布のサンプリング領域をシフトさせることにより協調的に楽観的な行動をもたらすリスクベースの探索を提案する。本手法は, 量子レグレッションに基づく協調探索を必要とするマルチエージェント環境において, 顕著な性能を示す。
論文参考訳（メタデータ） (2023-03-03T08:17:57Z)
A Survey of Risk-Aware Multi-Armed Bandits [84.67376599822569]
我々は、様々な利害リスク対策をレビューし、その特性についてコメントする。我々は,探索と探索のトレードオフが現れる,後悔の最小化設定のためのアルゴリズムを検討する。今後の研究の課題と肥大化についてコメントし、締めくくりに締めくくります。
論文参考訳（メタデータ） (2022-05-12T02:20:34Z)
Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文参考訳（メタデータ） (2022-05-10T19:40:52Z)
Surveillance Evasion Through Bayesian Reinforcement Learning [78.79938727251594]
ランダム終端の強度が全く不明な2次元連続経路計画問題を考える。これらのオブザーバーの監視強度は未知であり、反復的な経路計画を通じて学ぶ必要がある。
論文参考訳（メタデータ） (2021-09-30T02:29:21Z)
SENTINEL: Taming Uncertainty with Ensemble-based Distributional Reinforcement Learning [6.587644069410234]
モデルベース強化学習(RL)におけるリスク依存型シーケンシャル意思決定の検討リスクの新たな定量化、すなわちEmphcomposite riskを導入する。我々は、SENTINEL-Kが戻り分布をよりよく推定し、複合リスク推定と併用しながら、競合するRLアルゴリズムよりもリスクに敏感な性能を示すことを実験的に検証した。
論文参考訳（メタデータ） (2021-02-22T14:45:39Z)
Risk-Averse Learning by Temporal Difference Methods [5.33024001730262]
動的リスク尺度による性能評価による強化学習について考察する。時間差の方法のリスク-逆対応について提案し、その収束性を確率1で証明する。
論文参考訳（メタデータ） (2020-03-02T11:48:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。