論文の概要: Robust Multi-Agent Control via Maximum Entropy Heterogeneous-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2306.10715v5
• Date: Wed, 11 Dec 2024 16:59:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:58:32.773209
• Title: Robust Multi-Agent Control via Maximum Entropy Heterogeneous-Agent Reinforcement Learning
• Title（参考訳）: 最大エントロピー不均質強化学習によるロバストマルチエージェント制御
• Authors: Simin Li, Yifan Zhong, Jiarong Liu, Jianing Guo, Siyuan Qi, Ruixiao Xu, Xin Yu, Siyi Hu, Haobo Fu, Qiang Fu, Xiaojun Chang, Yujing Hu, Bo An, Xianglong Liu, Yaodong Yang,
• Abstract要約: 本稿では,マルチエージェント強化学習における課題を解決するために,アンフィストチャスティックな政策を学習するための統一的な枠組みを提案する。 The MaxEnt framework, we propose emphHeterogeneous-Agent Soft Actor-Critic (HASAC) algorithm。 HASACは, Bi-DexHands, Multi-Agent MuJoCo, Pursuit-Evade, StarCraft Multi-Agent Challenge, Google Research Football, Multi-Agent Particle Environment, Light Aircraft Gameの7つのベンチマークで評価した。
• 参考スコア（独自算出の注目度）: 65.60470000696944
• License:
• Abstract: In multi-agent reinforcement learning, optimal control with robustness guarantees are critical for its deployment in real world. However, existing methods face challenges related to sample complexity, training instability, potential suboptimal Nash Equilibrium convergence and non-robustness to multiple perturbations. In this paper, we propose a unified framework for learning \emph{stochastic} policies to resolve these issues. We embed cooperative MARL problems into probabilistic graphical models, from which we derive the maximum entropy (MaxEnt) objective optimal for MARL. Based on the MaxEnt framework, we propose \emph{Heterogeneous-Agent Soft Actor-Critic} (HASAC) algorithm. Theoretically, we prove the monotonic improvement and convergence to \emph{quantal response equilibrium} (QRE) properties of HASAC. Furthermore, HASAC is provably robust against a wide range of real-world uncertainties, including perturbations in rewards, environment dynamics, states, and actions. Finally, we generalize a unified template for MaxEnt algorithmic design named \emph{Maximum Entropy Heterogeneous-Agent Mirror Learning} (MEHAML), which provides any induced method with the same guarantees as HASAC. We evaluate HASAC on seven benchmarks: Bi-DexHands, Multi-Agent MuJoCo, Pursuit-Evade, StarCraft Multi-Agent Challenge, Google Research Football, Multi-Agent Particle Environment, Light Aircraft Game. Results show that HASAC consistently outperforms strong baselines in 34 out of 38 tasks, exhibiting improved training stability, better sample efficiency and sufficient exploration. The robustness of HASAC was further validated when encountering uncertainties in rewards, dynamics, states, and actions of 14 magnitudes, and real-world deployment in a multi-robot arena against these four types of uncertainties. See our page at \url{https://sites.google.com/view/meharl}.
• Abstract（参考訳）: マルチエージェント強化学習では、ロバスト性保証による最適制御が実世界での展開に不可欠である。 しかし、既存の手法では、サンプルの複雑さ、トレーニング不安定性、潜在的最適ナッシュ平衡収束および複数の摂動に対する非破壊性に関連する課題に直面している。 本稿では,これらの問題を解決するために,emph{stochastic}ポリシーを学習するための統一的な枠組みを提案する。 我々は協調的なMARL問題を確率的グラフィカルモデルに組み込み、MARLの最大エントロピー(MaxEnt)を最適に導出する。 The MaxEnt framework, we propose \emph{Heterogeneous-Agent Soft Actor-Critic} (HASAC) algorithm。 理論的には、HASAC の 'emph{quantal response equilibrium} (QRE) 特性に対する単調な改善と収束を証明する。 さらに、HASACは、報酬の摂動、環境力学、状態、行動など、幅広い現実世界の不確実性に対して、確実に堅牢である。 最後に,HASAC と同じ保証を持つ任意の誘導法を提供する「emph{Maximum Entropy Heterogeneous-Agent Mirror Learning} (MEHAML) 」というアルゴリズム設計のための統一テンプレートを一般化する。 HASACは, Bi-DexHands, Multi-Agent MuJoCo, Pursuit-Evade, StarCraft Multi-Agent Challenge, Google Research Football, Multi-Agent Particle Environment, Light Aircraft Gameの7つのベンチマークで評価した。 その結果,HASACは38タスク中34タスクにおいて強いベースラインを一貫して上回り,トレーニング安定性の向上,サンプル効率の向上,十分な探索が得られた。 HASACのロバスト性は、14等級の報酬、ダイナミクス、状態、行動の不確実性に遭遇し、これらの4種類の不確実性に対するマルチロボットアリーナにおける実世界展開においてさらに検証された。 われわれのページは \url{https://sites.google.com/view/meharl} にある。

関連論文リスト

• Multi-Step Alignment as Markov Games: An Optimistic Online Gradient Descent Approach with Convergence Guarantees [91.88803125231189]
  マルチステップ優先最適化(MPO)は、自然なアクター批判フレームワークciteprakhlin2013online,joulani17a上に構築されている。 我々はOMPOが$mathcalO(epsilon-1)$ポリシー更新を必要とし、$epsilon$-approximate Nash平衡に収束することを示した。 また,本手法がマルチターン会話データセットと数理推論データセットに与える影響についても検証した。
  論文  参考訳（メタデータ） (2025-02-18T09:33:48Z)
• Breaking the Curse of Multiagency in Robust Multi-Agent Reinforcement Learning [37.80275600302316]
  分布的にロバストなマルコフゲーム (RMG) は、MARLのロバスト性を高めるために提案されている。 悪名高いオープンな2つの課題は、不確実性の集合の定式化と、対応するRMGがマルチ緊急の呪いを克服できるかどうかである。 本研究では,行動経済学に着想を得た自然なRMGのクラスを提案し,各エージェントの不確実性セットは,環境と他のエージェントの統合行動の両方によって形成される。
  論文  参考訳（メタデータ） (2024-09-30T08:09:41Z)
• Sample-Efficient Robust Multi-Agent Reinforcement Learning in the Face of Environmental Uncertainty [40.55653383218379]
  本研究は,ロバストなマルコフゲーム(RMG)の学習に焦点を当てる。 ゲーム理論平衡の様々な概念の頑健な変種を学習するために,有限サンプルの複雑性を保証するサンプル効率モデルベースアルゴリズム(DRNVI)を提案する。
  論文  参考訳（メタデータ） (2024-04-29T17:51:47Z)
• Robust Multi-Agent Reinforcement Learning via Adversarial Regularization: Theoretical Foundation and Stable Algorithms [79.61176746380718]
  MARL(Multi-Agent Reinforcement Learning)はいくつかの領域で有望な結果を示している。 MARLポリシーは、しばしば堅牢性を欠き、環境の小さな変化に敏感である。 政策のリプシッツ定数を制御することにより、ロバスト性を得ることができることを示す。 政策のリプシッツ連続性を促進する新しい堅牢なMARLフレームワークであるERNIEを提案する。
  論文  参考訳（メタデータ） (2023-10-16T20:14:06Z)
• Robust Multi-Agent Reinforcement Learning with State Uncertainty [17.916400875478377]
  本研究における状態不確実性を考慮したMARLの問題点について検討する。 このような平衡を求めるために,頑健なマルチエージェントQ-ラーニングアルゴリズムを提案する。 実験の結果,提案したRMAQアルゴリズムは最適値関数に収束することがわかった。
  論文  参考訳（メタデータ） (2023-07-30T12:31:42Z)
• Heterogeneous-Agent Reinforcement Learning [16.796016254366524]
  ヘテロジニアス強化学習(HARL)アルゴリズムを提案する。 本研究の中心は,マルチエージェント・アドバンテージ分解補題と逐次更新方式である。 HAMLから派生した全てのアルゴリズムは本質的に、Nash Equilibriumへのジョイントリターンと収束の単調な改善を享受することを証明する。
  論文  参考訳（メタデータ） (2023-04-19T05:08:02Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• ERMAS: Becoming Robust to Reward Function Sim-to-Real Gaps in Multi-Agent Simulations [110.72725220033983]
  Epsilon-Robust Multi-Agent Simulation (ERMAS)は、このようなマルチエージェントのsim-to-realギャップに対して堅牢なAIポリシーを学ぶためのフレームワークである。 ERMASは、エージェントリスク回避の変化に対して堅牢な税政策を学び、複雑な時間シミュレーションで最大15%社会福祉を改善する。 特に、ERMASは、エージェントリスク回避の変化に対して堅牢な税制政策を学び、複雑な時間シミュレーションにおいて、社会福祉を最大15%改善する。
  論文  参考訳（メタデータ） (2021-06-10T04:32:20Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。