Fugu-MT 論文翻訳(概要): ACPO: Agent-Chained Policy Optimization for Multi-Agent Reinforcement Learning

論文の概要: ACPO: Agent-Chained Policy Optimization for Multi-Agent Reinforcement Learning

arxiv url: http://arxiv.org/abs/2606.30072v1
Date: Mon, 29 Jun 2026 10:04:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:16.17412
Title: ACPO: Agent-Chained Policy Optimization for Multi-Agent Reinforcement Learning
Title（参考訳）: ACPO:マルチエージェント強化学習のためのエージェント型ポリシー最適化
Abstract要約: マルチエージェント強化学習では、エージェントが共有リターンを最大化する必要がある。従来の手法は主に2つのアプローチに従う: 中央集権的な批評家による独立因数分解された更新、または最高のレスポンス更新の交互化である。共同政策グラデーションは, エージェントごとのスコア関数と分散型批評家から構成される, エージェントごとの項の正確な分散分解を許容することを示す。この結果の中心は、エージェントが一度に一つずつ行動し、各エージェントが先行する行動に対する信念を条件付ける、同時共同決定のシリアライズされた見解である。
参考スコア（独自算出の注目度）: 47.96591344642519
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Cooperative tasks in Multi-Agent Reinforcement Learning (MARL) require agents to collectively maximize a shared return. Under the Centralized Training with Decentralized Execution (CTDE) paradigm, policy gradients have remained difficult to compute directly. Prior methods largely follow two approaches: independent factorized updates with centralized critics, which lack general joint-improvement guarantees without value decomposition assumptions, or alternating best-response updates, which can converge to suboptimal Nash Equilibria. In this paper, we show the joint policy gradient admits an exact decentralized decomposition of per-agent terms, each formed from per-agent score functions and decentralized critics. Based on this decomposition, we develop Agent-Chained Policy Optimization (ACPO), where actors are trained independently, with their updates together constituting a single step on the joint policy gradient. Central to this result is a serialized view of the simultaneous joint decision in which agents commit actions one at a time, each conditioning on a belief over preceding actions. The belief acts as the coordination mechanism which ties the independent per-agent updates into a joint gradient step. We evaluate ACPO on Multi-Robot Warehouse, SMACv2, and MA-MuJoCo, where it outperforms strong baselines, with the gap widening as the number of agents grows.
Abstract（参考訳）: MARL(Multi-Agent Reinforcement Learning)における協調作業では、エージェントが共有リターンを最大化する必要がある。中央集権訓練(CTDE)パラダイムの下では、政策勾配を直接計算することが困難である。従来の手法は2つのアプローチに大きく従っている: 中央集権的批評家による独立因数分解更新、価値分解の仮定を伴わない一般的な共同改善保証の欠如、最適 Nash Equilibria に収束可能な最適応答更新の交互化。本稿では,共同政策の勾配が,エージェント単位の項の正確な分散分解を許容し,それぞれがエージェント単位のスコア関数と分散型批評家から構成されていることを示す。この分解に基づいて、アクターが独立して訓練されるエージェント・チェーン・ポリシー・最適化(ACPO)を開発し、共同ポリシー・グラデーションの単一ステップを構成する。この結果の中心は、エージェントが一度に一つずつ行動し、各エージェントが先行する行動に対する信念を条件付ける、同時共同決定のシリアライズされた見解である。この信念は、独立したエージェントごとの更新を共同勾配ステップに結び付ける調整機構として機能する。我々は,マルチロボットウェアハウス,SMACv2,MA-MuJoCoにおけるACPOの評価を行った。

関連論文リスト

GRASP: Gradient Realignment via Active Shared Perception for Multi-Agent Collaborative Optimization [41.52202306408042]
非定常性は、同時ポリシー更新によって発生し、持続的な環境変動を引き起こす。本稿では,一般ベルマン均衡を政策進化の安定目標として定義する新しい枠組みである,アクティブ共有知覚(GRASP)によるRealignmentを提案する。
論文参考訳（メタデータ） (2026-04-01T10:26:22Z)
Decentralized Policy Optimization [21.59254848913971]
単調な改善と収束を保証する分散型アクター批判アルゴリズムであるテキスト分散ポリシー最適化(DPO)を提案する。実験的に、DPOとIPPOを協調的な多エージェントタスクで比較し、離散的かつ連続的な行動空間、完全かつ部分的に観察可能な環境を網羅した。
論文参考訳（メタデータ） (2022-11-06T05:38:23Z)
Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
論文参考訳（メタデータ） (2022-01-31T20:39:48Z)
Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming [0.0]
我々は,政策グラディエント(PG)の下での最適化において,エージェントの方針がチームメイトの方針に準じることが,本質的に相互情報(MI)の下限を最大化することを示す。我々の手法であるInfoPGは、創発的協調行動の学習におけるベースラインを上回り、分散協調型MARLタスクにおける最先端の課題を設定します。
論文参考訳（メタデータ） (2022-01-20T22:54:32Z)
Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via Trust Region Decomposition [52.06086375833474]
非定常性は多エージェント強化学習における厄介な問題である。ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
論文参考訳（メタデータ） (2021-02-21T14:46:50Z)
Multi-Agent Trust Region Policy Optimization [34.91180300856614]
TRPOのポリシー更新は,マルチエージェントケースに対する分散コンセンサス最適化問題に変換可能であることを示す。マルチエージェントTRPO(MATRPO)と呼ばれる分散MARLアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-15T17:49:47Z)
F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文参考訳（メタデータ） (2020-04-17T14:56:29Z)
FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
論文参考訳（メタデータ） (2020-03-14T21:29:09Z)
Counterfactual Multi-Agent Policy Gradients [47.45255170608965]
本稿では,COMAポリシーグラデーションと呼ばれる新しいマルチエージェントアクター批判手法を提案する。 COMAは中央集権的な批評家を用いてQ-関数を推定し、エージェントのポリシーを最適化する。我々は,StarCraftユニットのマイクロマネジメントにおけるテストベッドにおけるCOMAの評価を行った。
論文参考訳（メタデータ） (2017-05-24T18:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。