論文の概要: RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization

• arxiv url: http://arxiv.org/abs/2311.01753v1
• Date: Fri, 3 Nov 2023 07:18:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 15:01:03.095074
• Title: RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization
• Title（参考訳）: riskq: リスクに敏感なマルチエージェント強化学習価値因子化
• Authors: Siqi Shen, Chennan Ma, Chao Li, Weiquan Liu, Yongquan Fu, Songzhu Mei, Xinwang Liu, Cheng Wang
• Abstract要約: 本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。 RiskQは広範な実験によって有望な性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 51.386963525376395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent systems are characterized by environmental uncertainty, varying policies of agents, and partial observability, which result in significant risks. In the context of Multi-Agent Reinforcement Learning (MARL), learning coordinated and decentralized policies that are sensitive to risk is challenging. To formulate the coordination requirements in risk-sensitive MARL, we introduce the Risk-sensitive Individual-Global-Max (RIGM) principle as a generalization of the Individual-Global-Max (IGM) and Distributional IGM (DIGM) principles. This principle requires that the collection of risk-sensitive action selections of each agent should be equivalent to the risk-sensitive action selection of the central policy. Current MARL value factorization methods do not satisfy the RIGM principle for common risk metrics such as the Value at Risk (VaR) metric or distorted risk measurements. Therefore, we propose RiskQ to address this limitation, which models the joint return distribution by modeling quantiles of it as weighted quantile mixtures of per-agent return distribution utilities. RiskQ satisfies the RIGM principle for the VaR and distorted risk metrics. We show that RiskQ can obtain promising performance through extensive experiments. The source code of RiskQ is available in https://github.com/xmu-rl-3dv/RiskQ.
• Abstract（参考訳）: マルチエージェントシステムは、環境の不確実性、エージェントの様々なポリシー、部分的な可観測性によって特徴付けられる。 マルチエージェント強化学習(marl:multi-agent reinforcement learning)の文脈では,リスクに敏感なコーディネートと分散ポリシの学習が難しい。 リスクに敏感な marl における協調要件を定式化するために, リスクに敏感な individual-global-max (rigm) 原則を, 個人-global-max (igm) と distributional igm (digm) の原則の一般化として導入する。 この原則では、各エージェントのリスクに敏感なアクション選択の収集は、中央ポリシーのリスクに敏感なアクション選択と同等であるべきである。 現在のMARL値分解法は、リスク値(VaR)測定や歪んだリスク測定のような共通リスク指標のRIGM原則を満たさない。 そこで我々は,この制限に対処するリスクQを提案する。これは,その量子化を,エージェント単位の戻り分布ユーティリティの重み付き量子化混合としてモデル化することで,ジョイントリターン分布をモデル化する。 RiskQは、VaRのRIGM原則と歪んだリスクメトリクスを満たす。 riskqは広範な実験によって有望な性能を得ることができる。 riskqのソースコードはhttps://github.com/xmu-rl-3dv/riskqで入手できる。

関連論文リスト

• Risk-Sensitive RL with Optimized Certainty Equivalents via Reduction to Standard RL [48.1726560631463]
  我々は,OCE(Optimized Certainty Equivalent)リスクを用いたリスク感性強化学習について検討した。 標準RLへの還元による2つの一般的なメタアルゴリズムを提案する。 我々は,事前アルゴリズムが確実に失敗する間に,最適リスク感応ポリシーを学習することを示す。
  論文  参考訳（メタデータ） (2024-03-10T21:45:12Z)
• Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
  本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。 モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-02-28T08:43:18Z)
• Risk-Sensitive Multi-Agent Reinforcement Learning in Network Aggregative Markov Games [2.85386288555414]
  ネットワーク集約ゲーム(NAMG)のCPTリスクを考慮した分散サンプリングベースアクタクリティカル(AC)アルゴリズムを提案する。 一組の仮定の下で、NAMGにおける完全ナッシュ均衡の主観的な概念を証明する。 実験により、主観的な政策はリスク中立的な政策とは異なる可能性があることが示された。
  論文  参考訳（メタデータ） (2024-02-08T18:43:27Z)
• C-RAG: Certified Generation Risks for Retrieval-Augmented Language Models [57.10361282229501]
  RAGモデルの生成リスクを認証する最初のフレームワークであるC-RAGを提案する。 具体的には、RAGモデルに対して共形リスク分析を行い、生成リスクの上限以上の信頼度を認定する。 検索モデルと変圧器の品質が非自明な場合, RAG は単一の LLM よりも低い共形生成リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T16:46:16Z)
• Policy Evaluation in Distributional LQR [70.63903506291383]
  ランダムリターンの分布を閉形式で表現する。 この分布は有限個の確率変数で近似できることを示す。 近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T20:27:40Z)
• Risk-Averse Reinforcement Learning via Dynamic Time-Consistent Risk Measures [10.221369785560785]
  本稿では,マルコフ決定過程(MDP)における報酬列の動的リスクを最大化する問題について考察する。 予測と条件付きリスクリスク(CVaR)の凸結合を特別な一段階の条件付きリスク尺度として用いて、我々は、リスク回避型MDPを、強化されたアクション空間を持つリスク中立型として再構成し、即時報酬の操作を行う。 本研究は,リスク・アバース・セッティングが分散を低減し,その結果のロバスト性を高めることを示唆するものである。
  論文  参考訳（メタデータ） (2023-01-14T21:43:18Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• Sample-Based Bounds for Coherent Risk Measures: Applications to Policy Synthesis and Verification [32.9142708692264]
  本稿では,リスク認識の検証と政策合成に関するいくつかの問題に対処することを目的とする。 まず,確率変数分布のサブセットを評価するサンプルベース手法を提案する。 第二に、決定空間の大部分を上回る問題に対する解を決定するロボットベースの手法を開発する。
  論文  参考訳（メタデータ） (2022-04-21T01:06:10Z)
• Automatic Risk Adaptation in Distributional Reinforcement Learning [26.113528145137497]
  実践的応用における強化学習(RL)エージェントの使用は、最適以下の結果を考慮する必要がある。 これは特に安全クリティカルな環境において重要であり、エラーは高いコストや損害をもたらす可能性がある。 リスク認識エージェントとリスク認識エージェントの両方と比較して, 失敗率を最大7倍に低下させ, 一般化性能を最大14%向上させた。
  論文  参考訳（メタデータ） (2021-06-11T11:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。