論文の概要: Multi-Agent Guided Policy Optimization

• arxiv url: http://arxiv.org/abs/2507.18059v1
• Date: Thu, 24 Jul 2025 03:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:42.917483
• Title: Multi-Agent Guided Policy Optimization
• Title（参考訳）: マルチエージェント誘導政策最適化
• Authors: Yueheng Li, Guangming Xie, Zongqing Lu,
• Abstract要約: 分散実行訓練(CTDE)は,協調型マルチエージェント強化学習(MARL)において支配的なパラダイムとなっている。 我々は,集中型指導と集中型実行を統合することで,集中型訓練をよりよく活用する新しいフレームワークであるMulti-Agent Guided Policy Optimization (MAGPO)を提案する。
• 参考スコア（独自算出の注目度）: 36.853129816484845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to practical constraints such as partial observability and limited communication, Centralized Training with Decentralized Execution (CTDE) has become the dominant paradigm in cooperative Multi-Agent Reinforcement Learning (MARL). However, existing CTDE methods often underutilize centralized training or lack theoretical guarantees. We propose Multi-Agent Guided Policy Optimization (MAGPO), a novel framework that better leverages centralized training by integrating centralized guidance with decentralized execution. MAGPO uses an auto-regressive joint policy for scalable, coordinated exploration and explicitly aligns it with decentralized policies to ensure deployability under partial observability. We provide theoretical guarantees of monotonic policy improvement and empirically evaluate MAGPO on 43 tasks across 6 diverse environments. Results show that MAGPO consistently outperforms strong CTDE baselines and matches or surpasses fully centralized approaches, offering a principled and practical solution for decentralized multi-agent learning. Our code and experimental data can be found in https://github.com/liyheng/MAGPO.
• Abstract（参考訳）: 部分的可観測性や限定的なコミュニケーションといった実践的な制約により、分散実行による集中訓練(CTDE)は、協調的マルチエージェント強化学習(MARL)において支配的なパラダイムとなっている。 しかし、既存のCTDE法は、しばしば集中トレーニングを弱めたり、理論的な保証を欠いている。 我々は,集中型指導と集中型実行を統合することで,集中型訓練をよりよく活用する新しいフレームワークであるMulti-Agent Guided Policy Optimization (MAGPO)を提案する。 MAGPOは、スケーラブルでコーディネートされた探索のために自動回帰ジョイントポリシーを使用し、部分的な可観測性の下でのデプロイ性を保証するために、明確に分散されたポリシーと調整する。 モノトニックな政策改善の理論的保証と、6つの異なる環境における43のタスクにおけるMAGPOを実証的に評価する。 その結果、MAGPOは強いCTDEベースラインを一貫して上回り、完全集中型アプローチを超越し、分散マルチエージェント学習のための原則的で実践的なソリューションを提供することがわかった。 コードと実験データはhttps://github.com/liyheng/MAGPO.comで確認できます。

関連論文リスト

• Imitation Learning based Alternative Multi-Agent Proximal Policy Optimization for Well-Formed Swarm-Oriented Pursuit Avoidance [15.498559530889839]
  本稿では,分散学習に基づく代替的マルチエージェント・プロキシ・ポリシー最適化(IA-MAPPO)アルゴリズムを提案する。 擬似学習を利用して生成コントローラを分散化し,通信オーバーヘッドを低減し,スケーラビリティを向上させる。 シミュレーションの結果,IA-MAPPOの有効性が検証され,広範囲なアブレーション実験により,通信オーバーヘッドが著しく減少する集中型解に匹敵する性能が示された。
  論文  参考訳（メタデータ） (2023-11-06T06:58:16Z)
• Is Centralized Training with Decentralized Execution Framework Centralized Enough for MARL? [34.00244359590573]
  分散実行によるトレーニングは、協調的マルチエージェント強化学習のための一般的なフレームワークである。 マルチエージェント強化学習のためのCADP(Advising and Decentralized Pruning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-27T03:15:24Z)
• Decentralized Policy Optimization [21.59254848913971]
  単調な改善と収束を保証する分散型アクター批判アルゴリズムであるテキスト分散ポリシー最適化(DPO)を提案する。 実験的に、DPOとIPPOを協調的な多エージェントタスクで比較し、離散的かつ連続的な行動空間、完全かつ部分的に観察可能な環境を網羅した。
  論文  参考訳（メタデータ） (2022-11-06T05:38:23Z)
• More Centralized Training, Still Decentralized Execution: Multi-Agent Conditional Policy Factorization [21.10461189367695]
  協調型マルチエージェント強化学習(MARL)では、値分解とアクター・クリティカルを組み合わせたエージェントがポリシーを学ぶことができる。 エージェントは、集中的な訓練であっても、互いに独立していると一般的に考えられている。 我々は、より集中的な訓練を施すが、それでも分散実行が可能なマルチエージェント条件付きポリシー因数分解(MACPF)を提案する。
  論文  参考訳（メタデータ） (2022-09-26T13:29:22Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge? [100.48692829396778]
  独立PPO (Independent PPO) は独立学習の一種であり、各エージェントはその局所値関数を単純に推定する。 IPPOの強い性能は、ある種の非定常性に対する堅牢性に起因する可能性がある。
  論文  参考訳（メタデータ） (2020-11-18T20:29:59Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)
• Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning [55.20040781688844]
  QMIXは、中央集権的なエンドツーエンドで分散ポリシーをトレーニングできる新しい価値ベースの手法である。 深層多エージェント強化学習のための新しいベンチマークとして,StarCraft Multi-Agent Challenge (SMAC)を提案する。
  論文  参考訳（メタデータ） (2020-03-19T16:51:51Z)
• FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
  FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。 離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。 我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
  論文  参考訳（メタデータ） (2020-03-14T21:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。