論文の概要: Aggregate in the Advantage, Not the Ratio: A Canonical-Form Analysis of Cooperative Multi-Agent Policy Optimization
- arxiv url: http://arxiv.org/abs/2607.17924v1
- Date: Mon, 20 Jul 2026 13:20:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.634957
- Title: Aggregate in the Advantage, Not the Ratio: A Canonical-Form Analysis of Cooperative Multi-Agent Policy Optimization
- Title（参考訳）: Aggregate in the Advantage, not the Ratio: A Canonical-Form Analysis of Cooperative Multi-Agent Policy Optimization
- Abstract要約: 隣人」とは、身体的近接だけでなく、互いに影響を及ぼす作用も指す。
決定は2つの次元(利点と比率)に沿って行う必要がある。
設計原理はあいまいである: 隣人を有利に集約し、結合近傍にサイズを拡大し、エージェント当たりの比率を維持する。
- 参考スコア（独自算出の注目度）: 5.703301837612397
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-agent policy optimization, exemplified by PPO-based methods, is a key branch of cooperative Multi-Agent Reinforcement Learning (MARL). A central design question is how many neighboring agents\footnote{In this paper, "neighbors" refer not only to physical proximity but also to agents whose actions influence one another.} to aggregate in order to effectively utilize global information for cooperation. This decision must be made along two dimensions: in the advantage (which agents' rewards contribute to the credit signal) and in the ratio (which agents' likelihood ratios form the clipped importance weight). Existing methods occupy scattered, underexplored points on these two axes: IPPO treats both separately; MAPPO pairs a team-level advantage with per-agent ratios; HAPPO employs sequential ratios with per-agent advantages; and single-agent reductions operating on factorized joint policies aggregate both into fully joint products. We formalize these two design choices as support matrices $\SA$ and $\SR$, and prove a canonical structure: the expected multi-agent policy optimization objective depends on the pair $(\SA,\SR)$ only through their matrix product $\tS=\SR\SA$. This yields two key consequences: (i) Redundancy: the two support matrices are interchangeable with respect to the signal, meaning neither aggregation pattern is inherently superior.(ii) Variance Ordering: the advantage aggregates rewards as a sum (additive variance with an interior bias-variance optimum at the coupling neighborhood), whereas the ratio aggregates likelihood ratios as a product (multiplicative variance that grows exponentially with support size, with no accompanying bias reduction). The resulting design principle is unambiguous: aggregate neighbors in the advantage, sized to the coupling neighborhood, and keep the ratio per-agent.
- Abstract（参考訳）: PPO法で実証されたマルチエージェントポリシー最適化は,MARL(Multi-Agent Reinforcement Learning)のキーブランチである。
この論文では、「隣人」は物理的な近接だけでなく、互いに影響を及ぼすエージェントも指している。
協力のためにグローバル情報を効果的に活用するために集約する。
この決定は、利点(エージェントの報酬がクレジット信号に寄与する)と比率(エージェントの確率比がクリップされた重要度重みを形成する)の2つの次元に沿って行う必要がある。
IPPOは両者を別々に扱い、MAPPOはアジェント比のチームレベルの優位性、HAPPOはアジェント比の逐次比率はアジェント比の優位性、単一アジェント還元は分解されたジョイントポリシーの操作を完全ジョイント製品に集約する。
これら2つの設計選択をサポート行列 $\SA$ と $\SR$ として形式化し、標準構造を証明する: 期待されるマルチエージェントポリシー最適化の目的は、行列積 $\tS=\SR\SA$ を通してのみ、ペア $(\SA,\SR)$ に依存する。
これは2つの重要な結果をもたらす。
一 冗長性:二つの支持行列が信号に対して交換可能であること。
(ii) 変数順序付け: 利点は和として報酬を集約する(結合近傍において内部バイアス分散が最適となる付加的分散)一方、比は積として可能性比を集約する(比はサポートサイズとともに指数関数的に増加するが、バイアスの減少は伴わない)。
結果として得られる設計原理は明らかでない: 隣人を強みに集約し、結合近傍にサイズを拡大し、エージェント当たりの比率を維持する。
関連論文リスト
- Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。
本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
論文 参考訳（メタデータ） (2026-08-10T15:38:45Z) - ACPO: Agent-Chained Policy Optimization for Multi-Agent Reinforcement Learning [47.96591344642519]
マルチエージェント強化学習では、エージェントが共有リターンを最大化する必要がある。
従来の手法は主に2つのアプローチに従う: 中央集権的な批評家による独立因数分解された更新、または最高のレスポンス更新の交互化である。
共同政策グラデーションは, エージェントごとのスコア関数と分散型批評家から構成される, エージェントごとの項の正確な分散分解を許容することを示す。
この結果の中心は、エージェントが一度に一つずつ行動し、各エージェントが先行する行動に対する信念を条件付ける、同時共同決定のシリアライズされた見解である。
論文 参考訳（メタデータ） (2026-06-29T10:04:15Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - CAPO: Counterfactual Credit Assignment in Sequential Cooperative Teams [6.8920524670882815]
本稿では,Aristocrat Utility(SeqAU)について紹介する。
批判のないポリシー段階のアルゴリズムであるCAPOを導出する。
論文 参考訳（メタデータ） (2026-04-20T01:14:59Z) - Counterfactual Credit Policy Optimization for Multi-Agent Collaboration [27.260904103460664]
協調多エージェント大言語モデル(LLM)は、役割を分解し、多様な仮説を集約することで複雑な推論タスクを解くことができる。
本稿では,エージェント固有の学習信号を割り当てるフレームワークであるCCPOを紹介する。
CCPOは、エージェントのコントリビューションを除去して結果をシミュレートする動的反ファクト的ベースラインを構築する。
論文 参考訳（メタデータ） (2026-03-23T04:35:02Z) - Multi-Agent Reinforcement Learning with Submodular Reward [7.561267501457281]
協調型マルチエージェント強化学習(MARL)について検討した。
提案手法は,サンプルの効率と後悔の束縛を保証できるアルゴリズムを開発する。
論文 参考訳（メタデータ） (2026-03-06T19:17:29Z) - Graphon Mean-Field Subsampling for Cooperative Heterogeneous Multi-Agent Reinforcement Learning [19.98996237281175]
我々は、異種エージェントインタラクションを備えたスケーラブルな協調MARLのための、$texttGMFS$, a $textbfG$raphon $textbfM$ean-$textbfF$ield $textbfS$ubsamplingフレームワークを紹介した。
相互作用強度に応じて$$エージェントをサブサンプリングすることにより、グラノン重み付き平均場を近似し、サンプルの複雑さでポリシーを学ぶ。
我々はロボット協調における数値シミュレーションによる理論の検証を行い、$textttGMFS$がほぼ最適性能を実現することを示す。
論文 参考訳（メタデータ） (2026-02-18T05:34:07Z) - Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。
我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。
OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
論文 参考訳（メタデータ） (2026-01-12T10:48:02Z) - Refined Sample Complexity for Markov Games with Independent Linear Function Approximation [49.5660193419984]
マルコフゲーム(MG)はマルチエージェント強化学習(MARL)の重要なモデルである
本稿では、WangらによるAVLPRフレームワークを改良し(2023年)、最適部分ギャップの悲観的推定を設計する。
マルチエージェントの呪いに取り組み、最適な$O(T-1/2)収束率を達成し、同時に$textpoly(A_max)$依存性を避ける最初のアルゴリズムを与える。
論文 参考訳（メタデータ） (2024-02-11T01:51:15Z) - Multi-agent Policy Optimization with Approximatively Synchronous
Advantage Estimation [55.96893934962757]
マルチエージェントシステムでは、異なるエージェントの警察を共同で評価する必要がある。
現在の方法では、バリュー関数やアドバンテージ関数は非同期に評価される対実関節アクションを使用する。
本研究では,近似的に同期する利点推定を提案する。
論文 参考訳（メタデータ） (2020-12-07T07:29:19Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。