論文の概要: Prioritized League Reinforcement Learning for Large-Scale Heterogeneous Multiagent Systems
- arxiv url: http://arxiv.org/abs/2403.18057v1
- Date: Tue, 26 Mar 2024 19:21:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 21:14:58.235130
- Title: Prioritized League Reinforcement Learning for Large-Scale Heterogeneous Multiagent Systems
- Title(参考訳): 大規模不均一マルチエージェントシステムのための優先順位付きリーグ強化学習
- Authors: Qingxu Fu, Zhiqiang Pu, Min Chen, Tenghai Qiu, Jianqiang Yi,
- Abstract要約: 本稿では,大規模な異種協調問題に対処する優先的不均一リーグ強化学習(PHLRL)手法を提案する。
We use Unreal Engine to design a Large-scale Multiagent Operation (LSMO)。
- 参考スコア(独自算出の注目度): 11.017749510087059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale heterogeneous multiagent systems feature various realistic factors in the real world, such as agents with diverse abilities and overall system cost. In comparison to homogeneous systems, heterogeneous systems offer significant practical advantages. Nonetheless, they also present challenges for multiagent reinforcement learning, including addressing the non-stationary problem and managing an imbalanced number of agents with different types. We propose a Prioritized Heterogeneous League Reinforcement Learning (PHLRL) method to address large-scale heterogeneous cooperation problems. PHLRL maintains a record of various policies that agents have explored during their training and establishes a heterogeneous league consisting of diverse policies to aid in future policy optimization. Furthermore, we design a prioritized policy gradient approach to compensate for the gap caused by differences in the number of different types of agents. Next, we use Unreal Engine to design a large-scale heterogeneous cooperation benchmark named Large-Scale Multiagent Operation (LSMO), which is a complex two-team competition scenario that requires collaboration from both ground and airborne agents. We use experiments to show that PHLRL outperforms state-of-the-art methods, including QTRAN and QPLEX in LSMO.
- Abstract(参考訳): 大規模な異種マルチエージェントシステムは、多様な能力を持つエージェントやシステム全体のコストなど、現実世界の様々な現実的な要因を特徴としている。
均質系と比較して、異質系は重要な実用上の利点をもたらす。
それにもかかわらず、彼らはまた、非定常問題に対処し、異なるタイプのエージェントの不均衡数を管理することを含む、マルチエージェント強化学習の課題も提示している。
大規模不均一協調問題に対処する優先的不均一リーグ強化学習(PHLRL)法を提案する。
PHLRLは、エージェントが訓練中に調査した様々なポリシーの記録を維持し、将来の政策最適化を支援する様々なポリシーからなる異種リーグを確立する。
さらに,異なる種類のエージェントの数の違いによって生じるギャップを補うために,優先順位付けされたポリシー勾配アプローチを設計する。
次に,Unreal Engineを用いて,大規模マルチエージェント操作 (LSMO) と呼ばれる大規模な異種協調ベンチマークを設計する。
実験により、PHLRLはLSMOのQTRANやQPLEXなど最先端の手法より優れていることを示す。
関連論文リスト
- An Extensible Framework for Open Heterogeneous Collaborative Perception [58.70875361688463]
協調的な知覚は、単一エージェントの知覚の限界を緩和することを目的としている。
本稿では,新しい異種エージェントを協調認識に適応させる方法を提案する。
本稿では,新しい協調認識フレームワークであるHeterogeneous ALliance(HEAL)を提案する。
論文 参考訳(メタデータ) (2024-01-25T05:55:03Z) - Learning Heterogeneous Agent Cooperation via Multiagent League Training [6.801749815385998]
本研究ではヘテロジニアス・リーグ・トレーニング(HLT)と呼ばれる汎用強化学習アルゴリズムを提案する。
HLTは、エージェントがトレーニング中に調査したポリシーのプールを追跡し、将来のポリシー最適化を促進するために異質なポリシーの集合を集めている。
協力スキルのレベルが異なるチームメイトとのコラボレーションにおいて、エージェントの振る舞いの多様性を高めるために、ハイパーネットワークが導入される。
論文 参考訳(メタデータ) (2022-11-13T13:57:15Z) - A Policy Resonance Approach to Solve the Problem of Responsibility
Diffusion in Multiagent Reinforcement Learning [9.303181273699417]
単一エージェント探索探索戦略を単一エージェントアルゴリズムから必然的に継承することは、潜在的なコラボレーションの失敗を引き起こす。
我々はこの問題を責任拡散(RD)と呼び、同名の社会心理学効果と類似点を共有している。
我々は,複雑な協調作業におけるエージェントの協調的性能を促進するために,SOTAアルゴリズムがこのアプローチを適用可能であることを示す。
論文 参考訳(メタデータ) (2022-08-16T13:56:00Z) - Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent
RL [107.58821842920393]
我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する
MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。
分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2022-06-01T04:58:52Z) - Relative Distributed Formation and Obstacle Avoidance with Multi-agent
Reinforcement Learning [20.401609420707867]
マルチエージェント強化学習(MARL)に基づく分散生成・障害物回避手法を提案する。
提案手法は, 障害物回避における生成誤差, 生成収束率, オンパー成功率に関して, ベースラインと比較して高い性能を実現する。
論文 参考訳(メタデータ) (2021-11-14T13:02:45Z) - HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with
Dual Coordination Mechanism [17.993973801986677]
多エージェント強化学習はしばしば、多数のエージェントによって引き起こされる指数関数的に大きな作用空間に悩まされる。
完全協調型マルチエージェント問題に対する階層的強化学習に基づく新しい値分解フレームワークHAVENを提案する。
論文 参考訳(メタデータ) (2021-10-14T10:43:47Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳(メタデータ) (2020-04-17T14:56:29Z) - FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。
離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。
我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
論文 参考訳(メタデータ) (2020-03-14T21:29:09Z) - Scalable Multi-Agent Inverse Reinforcement Learning via
Actor-Attention-Critic [54.2180984002807]
マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。
本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-24T20:30:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。