論文の概要: SENTINEL: Taming Uncertainty with Ensemble-based Distributional Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2102.11075v1
• Date: Mon, 22 Feb 2021 14:45:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 23:27:55.422190
• Title: SENTINEL: Taming Uncertainty with Ensemble-based Distributional Reinforcement Learning
• Title（参考訳）: SENTINEL: エンサンブルベースの分布強化学習による不確実性評価
• Authors: Hannes Eriksson, Debabrota Basu, Mina Alibeigi, Christos Dimitrakakis
• Abstract要約: モデルベース強化学習(RL)におけるリスク依存型シーケンシャル意思決定の検討 リスクの新たな定量化、すなわちEmphcomposite riskを導入する。 我々は、SENTINEL-Kが戻り分布をよりよく推定し、複合リスク推定と併用しながら、競合するRLアルゴリズムよりもリスクに敏感な性能を示すことを実験的に検証した。
• 参考スコア（独自算出の注目度）: 6.587644069410234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we consider risk-sensitive sequential decision-making in model-based reinforcement learning (RL). We introduce a novel quantification of risk, namely \emph{composite risk}, which takes into account both aleatory and epistemic risk during the learning process. Previous works have considered aleatory or epistemic risk individually, or, an additive combination of the two. We demonstrate that the additive formulation is a particular case of the composite risk, which underestimates the actual CVaR risk even while learning a mixture of Gaussians. In contrast, the composite risk provides a more accurate estimate. We propose to use a bootstrapping method, SENTINEL-K, for distributional RL. SENTINEL-K uses an ensemble of $K$ learners to estimate the return distribution and additionally uses follow the regularized leader (FTRL) from bandit literature for providing a better estimate of the risk on the return distribution. Finally, we experimentally verify that SENTINEL-K estimates the return distribution better, and while used with composite risk estimate, demonstrates better risk-sensitive performance than competing RL algorithms.
• Abstract（参考訳）: 本稿では,モデルベース強化学習(RL)におけるリスク敏感な逐次的意思決定について考察する。 本研究では,学習過程におけるアレーショナルリスクとてんかんリスクの両方を考慮した,新たなリスクの定量化,すなわち \emph{composite risk} を提案する。 以前の著作では、個別に、またはこれら2つの組み合わせとして、排卵リスクまたは認識リスクを考慮していた。 この添加剤は,ガウスの混合物を学習しながらも実際のcvarリスクを過小評価する複合リスクの特定の場合であることを示す。 対照的に、複合リスクはより正確な見積もりを提供する。 ブートストラップ法であるSENTINEL-Kを分散RLに用いることを提案する。 SENTINEL-Kは、返却分布を推定するために$K$の学習者のアンサンブルを使用し、さらに、返却分布のリスクをより正確に見積もるために、ランディット文学からの正規化リーダ(FTRL)に従う。 最後に、SENTINEL-Kが回帰分布をよりよく推定できることを実験的に検証し、複合リスク推定と併用しながら、競合するRLアルゴリズムよりもリスクに敏感な性能を示す。

関連論文リスト

• Data-driven decision-making under uncertainty with entropic risk measure [5.407319151576265]
  エントロピーリスク尺度は、不確実な損失に関連する尾のリスクを考慮に入れた高い意思決定に広く用いられている。 経験的エントロピーリスク推定器を劣化させるため, 強く一貫したブートストラップ手法を提案する。 検証性能のバイアスが補正されない場合,クロスバリデーション手法は,保険業者のアウト・オブ・サンプルリスクを著しく高める可能性があることを示す。
  論文  参考訳（メタデータ） (2024-09-30T04:02:52Z)
• Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
  本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。 モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-02-28T08:43:18Z)
• Extreme Risk Mitigation in Reinforcement Learning using Extreme Value Theory [10.288413564829579]
  リスク認識の重要な側面は、破滅的な結果をもたらす可能性のある非常に稀なリスクイベント(リワード)をモデル化することである。 リスクを意識したRL手法は存在するが、リスク回避のレベルは状態-作用値関数の推定の精度に大きく依存している。 本研究では、状態-作用値関数分布によって予測される極端な値の予測を精査することに着目し、非常に稀で危険な事象に直面した場合のRLエージェントのレジリエンスを高めることを提案する。
  論文  参考訳（メタデータ） (2023-08-24T18:23:59Z)
• Is Risk-Sensitive Reinforcement Learning Properly Resolved? [32.42976780682353]
  そこで本稿では,RSRL問題に対して最適ポリシーに収束可能な新しいアルゴリズムであるトラジェクトリQ-Learning(TQL)を提案する。 新たな学習アーキテクチャに基づいて,さまざまなリスク対応政策を学習するための,さまざまなリスク対策の汎用的かつ実践的な実装を自由に導入できる。
  論文  参考訳（メタデータ） (2023-07-02T11:47:21Z)
• Safe Deployment for Counterfactual Learning to Rank with Exposure-Based Risk Minimization [63.93275508300137]
  本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。 提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-26T15:54:23Z)
• Policy Evaluation in Distributional LQR [70.63903506291383]
  ランダムリターンの分布を閉形式で表現する。 この分布は有限個の確率変数で近似できることを示す。 近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T20:27:40Z)
• Risk-Averse Reinforcement Learning via Dynamic Time-Consistent Risk Measures [10.221369785560785]
  本稿では,マルコフ決定過程(MDP)における報酬列の動的リスクを最大化する問題について考察する。 予測と条件付きリスクリスク(CVaR)の凸結合を特別な一段階の条件付きリスク尺度として用いて、我々は、リスク回避型MDPを、強化されたアクション空間を持つリスク中立型として再構成し、即時報酬の操作を行う。 本研究は,リスク・アバース・セッティングが分散を低減し,その結果のロバスト性を高めることを示唆するものである。
  論文  参考訳（メタデータ） (2023-01-14T21:43:18Z)
• RASR: Risk-Averse Soft-Robust MDPs with EVaR and Entropic Risk [28.811725782388688]
  本研究では,有限水平および割引無限水平MDPにおける不確実性に関連するリスクを共同でモデル化する新しい枠組みを提案し,分析する。 リスク回避をEVaRかエントロピーリスクのいずれかを用いて定義すると、RASRの最適ポリシーは時間依存型リスクレベルを持つ新しい動的プログラム定式化を用いて効率的に計算できることを示す。
  論文  参考訳（メタデータ） (2022-09-09T00:34:58Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• Risk-Constrained Thompson Sampling for CVaR Bandits [82.47796318548306]
  CVaR(Conditional Value at Risk)として知られる量的ファイナンスにおける一般的なリスク尺度について考察する。 本稿では,トンプソンサンプリングに基づくCVaR-TSアルゴリズムの性能について検討する。
  論文  参考訳（メタデータ） (2020-11-16T15:53:22Z)
• Learning Bounds for Risk-sensitive Learning [86.50262971918276]
  リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。 最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
  論文  参考訳（メタデータ） (2020-06-15T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。