論文の概要: On the Theory of Risk-Aware Agents: Bridging Actor-Critic and Economics
- arxiv url: http://arxiv.org/abs/2310.19527v2
- Date: Sat, 2 Mar 2024 12:40:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 20:25:47.799309
- Title: On the Theory of Risk-Aware Agents: Bridging Actor-Critic and Economics
- Title（参考訳）: リスク対応エージェントの理論--ブリッジング・アクター批判と経済学
- Authors: Michal Nauman and Marek Cygan
- Abstract要約: リスク対応強化学習アルゴリズムは、さまざまな継続的なタスクにおいて、リスクニュートラルなアルゴリズムよりも優れていた。
これらのアルゴリズムが採用する悲観的目的の理論的基礎は、まだ確立されていない。
本稿では,2つのアクターネットワークを特徴とするリスク認識型モデルフリーアルゴリズムとして,Dual Actor-Critic (DAC)を提案する。
- 参考スコア（独自算出の注目度）: 0.9044313965219023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Risk-aware Reinforcement Learning (RL) algorithms like SAC and TD3 were shown
empirically to outperform their risk-neutral counterparts in a variety of
continuous-action tasks. However, the theoretical basis for the pessimistic
objectives these algorithms employ remains unestablished, raising questions
about the specific class of policies they are implementing. In this work, we
apply the expected utility hypothesis, a fundamental concept in economics, to
illustrate that both risk-neutral and risk-aware RL goals can be interpreted
through expected utility maximization using an exponential utility function.
This approach reveals that risk-aware policies effectively maximize value
certainty equivalent, aligning them with conventional decision theory
principles. Furthermore, we propose Dual Actor-Critic (DAC). DAC is a
risk-aware, model-free algorithm that features two distinct actor networks: a
pessimistic actor for temporal-difference learning and an optimistic actor for
exploration. Our evaluations of DAC across various locomotion and manipulation
tasks demonstrate improvements in sample efficiency and final performance.
Remarkably, DAC, while requiring significantly less computational resources,
matches the performance of leading model-based methods in the complex dog and
humanoid domains.
- Abstract（参考訳）: sacやtd3といったリスクアウェア強化学習(rl)アルゴリズムは、さまざまな継続的アクションタスクにおいて、リスク中立のアルゴリズムよりも優れていることが実証的に示されている。
しかしながら、これらのアルゴリズムが採用する悲観的目的の理論的基礎は確立されておらず、実装している特定のポリシーのクラスに関する疑問が提起されている。
本研究では, 経済の基本概念である期待効用仮説を適用し, リスク中立性とリスク対応型rl目標の両方が指数関数関数を用いた期待効用最大化によって解釈可能であることを示す。
このアプローチは、リスク認識政策が価値の確実性を効果的に最大化し、従来の決定理論の原則と一致させることを明らかにする。
さらに,デュアル・アクター・クリティカル (DAC) を提案する。
DACは、時間差学習のための悲観的なアクターと、探索のための楽観的なアクターという、2つの異なるアクターネットワークを特徴とするリスク対応のモデルフリーアルゴリズムである。
各種移動・操作タスクにおけるDACの評価は,サンプル効率と最終性能の向上を示す。
注目すべきは、DACは計算資源を著しく少なくするが、複雑な犬とヒューマノイドドメインにおける主要なモデルベースの手法のパフォーマンスと一致することである。
関連論文リスト
- Pessimism Meets Risk: Risk-Sensitive Offline Reinforcement Learning [19.292214425524303]
リスクに敏感な強化学習(RL)は,不確実性を管理し,潜在的な有害な結果を最小限に抑えることが不可欠であるシナリオにおいて,意思決定を強化する能力において重要な分野である。
本研究は, エントロピーリスク尺度をRL問題に適用することに焦点を当てる。
我々は,リスクに敏感な観点からはまだ検討されていない理論的枠組みである線形マルコフ決定プロセス(MDP)の設定を中心としている。
論文 参考訳（メタデータ） (2024-07-10T13:09:52Z) - Neural Active Learning Beyond Bandits [69.99592173038903]
ストリームベースとプールベースの両方のアクティブラーニングをニューラルネットワーク近似を用いて検討する。
ストリームベースおよびプールベースアクティブラーニングのためのニューラルネットワークを新たに設計したエクスプロイトと探索に基づく2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-18T21:52:14Z) - Risk-Sensitive Soft Actor-Critic for Robust Deep Reinforcement Learning
under Distribution Shifts [11.765000124617186]
本研究では、文脈多段階最適化問題における分散シフトに対する深層強化学習アルゴリズムの堅牢性について検討する。
提案アルゴリズムは,リスクニュートラルなソフトアクター・クライブや,頑健な深層強化学習のための2つのベンチマーク手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-15T14:55:38Z) - Risk-sensitive Markov Decision Process and Learning under General
Utility Functions [3.6260136172126667]
強化学習(Reinforcement Learning, RL)は、様々な応用分野や理論的研究において大きな注目を集めている。
累積報酬の空間上でのエプシロン被覆を用いた修正値アルゴリズムを提案する。
シミュレータが存在しない場合,提案アルゴリズムは高信頼度探索法を用いて設計され,ほぼ最適ポリシーを同定する。
論文 参考訳（メタデータ） (2023-11-22T18:50:06Z) - Provably Efficient Iterated CVaR Reinforcement Learning with Function
Approximation and Human Feedback [57.6775169085215]
リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。
本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。
本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
論文 参考訳（メタデータ） (2023-07-06T08:14:54Z) - Multivariate Systemic Risk Measures and Computation by Deep Learning
Algorithms [63.03966552670014]
本稿では,主観的最適度と関連するリスク割り当ての公平性に着目し,重要な理論的側面について論じる。
私たちが提供しているアルゴリズムは、予備項の学習、二重表現の最適化、およびそれに対応する公正なリスク割り当てを可能にします。
論文 参考訳（メタデータ） (2023-02-02T22:16:49Z) - Conditionally Elicitable Dynamic Risk Measures for Deep Reinforcement
Learning [0.0]
我々は,ディープニューラルネットワークを用いた動的スペクトルリスク尺度のクラスを推定する効率的な手法を開発した。
また,リスクに敏感なアクター・クリティック・アルゴリズムも開発しており,追加のネスト・トランジションを必要としない。
論文 参考訳（メタデータ） (2022-06-29T14:11:15Z) - Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning [63.53407136812255]
オフライン強化学習は、探索を必要とせずに、事前に収集された静的データセットから効果的なポリシーを学ぶことを約束する。
既存のQラーニングとアクター批判に基づくオフポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(OOD)アクションや状態からのブートストラップ時に失敗する。
我々は,OOD状態-動作ペアを検出し,トレーニング目標への貢献度を下げるアルゴリズムであるUncertainty Weighted Actor-Critic (UWAC)を提案する。
論文 参考訳（メタデータ） (2021-05-17T20:16:46Z) - Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds
Globally Optimal Policy [95.98698822755227]
本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。
本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-28T05:02:26Z) - Bounded Risk-Sensitive Markov Games: Forward Policy Design and Inverse
Reward Learning with Iterative Reasoning and Cumulative Prospect Theory [33.57592649823294]
本稿では,リスクに敏感なマルコフゲーム(BRSMG)とその逆報酬学習問題について検討する。
我々は,BRSMGにおいて,人間は知能を制限し,リスクに敏感なユーティリティを最大化することを示した。
その結果, エージェントの行動は, リスク・リバース特性とリスク・サーキング特性の両方を示すことがわかった。
論文 参考訳（メタデータ） (2020-09-03T07:32:32Z) - Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。
我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。
これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
論文 参考訳（メタデータ） (2020-02-10T04:23:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。