Fugu-MT 論文翻訳(概要): Low Variance Trust Region Optimization with Independent Actors and Sequential Updates in Cooperative Multi-agent Reinforcement Learning

論文の概要: Low Variance Trust Region Optimization with Independent Actors and Sequential Updates in Cooperative Multi-agent Reinforcement Learning

arxiv url: http://arxiv.org/abs/2606.25526v1
Date: Wed, 24 Jun 2026 08:05:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-25 17:05:30.270318
Title: Low Variance Trust Region Optimization with Independent Actors and Sequential Updates in Cooperative Multi-agent Reinforcement Learning
Title（参考訳）: 独立アクターを用いた低変数信頼領域最適化と協調型マルチエージェント強化学習における逐次更新
Abstract要約: 逐次更新における有利な変動の上限を制御するためのクリッピング目的を導入する。クリッピング目的を用いた2つの新しい実用的なアルゴリズムを導出する。提案手法は,安定収束特性と所望の低利得分散推定の両方で強調される。
参考スコア（独自算出の注目度）: 5.8010446129208155
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Cooperative multi-agent reinforcement learning assumes each agent shares the same reward function and can be trained effectively using the Trust Region framework of single-agent. Instead of relying on other agents' actions, the independent actors setting considers each agent to act based only on its local information, thus having more flexible applications. However, in the sequential update framework, it is required to re-estimate the joint advantage function after each individual agent's policy step. Despite the practical success of importance sampling, the updated advantage function suffers from exponentially high variance problems, which likely result in unstable convergence. In this work, we first analyze the high variance advantage both empirically and theoretically. To overcome this limitation, we introduce a clipping objective to control the upper bounds of the advantage fluctuation in sequential updates. With the proposed objective, we provide a monotonic bound with sub-linear convergence to $ε$-Nash Equilibria. We further derive two new practical algorithms using our clipping objective. The experiment results on three popular multi-agent reinforcement learning benchmarks show that our proposed method outperforms the tested baselines in most environments. By carefully analyzing different training settings, our proposed method is highlighted with both stable convergence properties and the desired low advantage variance estimation. For reproducibility purposes, our source code is publicly available at https://github.com/giangbang/Low-Variance-Trust-Region-MARL.
Abstract（参考訳）: 協調型マルチエージェント強化学習は、各エージェントが同じ報酬関数を共有していると仮定し、単一エージェントのTrust Regionフレームワークを使用して効果的に訓練することができる。他のエージェントのアクションに頼る代わりに、独立したアクターの設定では、各エージェントがローカル情報のみに基づいて行動することを考慮し、より柔軟なアプリケーションを持つ。しかし、逐次更新フレームワークでは、各エージェントのポリシーステップの後、共同優位関数を再見積する必要がある。重要サンプリングの実際的な成功にもかかわらず、更新された優位関数は指数関数的に高い分散問題に悩まされ、おそらくは不安定な収束をもたらす。本研究ではまず,実験的および理論的に高い分散優位性を解析する。この制限を克服するために、逐次更新における有利な変動の上限を制御するためのクリッピングの目的を導入する。提案した目的により、準線型収束を持つ単調境界を$ε$-Nash Equilibria とする。さらに、クリッピング目的を用いた2つの新しい実用的なアルゴリズムを導出する。実験の結果, 提案手法は, テストベースラインよりも高い性能を示すことがわかった。異なるトレーニング設定を慎重に分析することにより,提案手法は安定収束特性と所望の低利得分散推定の両方で強調される。再現性のために、ソースコードはhttps://github.com/giangbang/Low-Variance-Trust-Region-MARLで公開されています。

関連論文リスト

TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文参考訳（メタデータ） (2026-06-09T17:16:03Z)
Rethinking Ratio-Based Trust Regions for Policy Optimization in Multi-Agent Reinforcement Learning [8.199581456016062]
共同優位推定法により重み付けされたエージェントごとの確率比を用いて、分散化アクターを更新する。我々は,これらの付加的比に基づく信頼領域機構を乗法的に対称な幾何学的障壁に置き換える,新しい政策最適化目標であるマルチエージェント比対称性(MARS)を導入する。 MARSは環境レベルの総合的なパフォーマンスにおいてMAPPOとMASPOに一致または超える。
論文参考訳（メタデータ） (2026-05-09T23:14:27Z)
Heterogeneous Agent Collaborative Reinforcement Learning [52.99813668995983]
不均一エージェント協調強化学習(HACRL) 本稿では,このパラダイムに基づいて,サンプル利用とエージェント間の知識伝達を最大化するために,原則的なロールアウト共有を可能にする協調RLアルゴリズムであるHACPOを提案する。多様な異種モデルの組み合わせと推論ベンチマークによる実験により、HACPOはすべてのエージェントを一貫して改善し、GSPOを平均3.3%上回り、ロールアウトコストの半分しか使っていないことが示された。
論文参考訳（メタデータ） (2026-03-03T05:09:49Z)
Multi-Agent Trust Region Policy Optimisation: A Joint Constraint Approach [17.48210470289556]
Heterogeneous-Agent Trust Region Policy Optimization (HATRPO) は、Kulback-Leibler (KL) の分散を用いて、訓練の安定化を図る。各エージェントを同じKL閾値に割り当てると、特に不均一な設定において、遅くて局所的に最適な更新につながる可能性がある。エージェント間のKL分散しきい値の割当には,グローバルなKL制約下でのしきい値割り当てを最適化するKKT法であるHATRPO-Wと,改善に基づくエージェントの優先順位付けを行うgreedyアルゴリズムであるHATRPO-Gの2つの方法を提案する。
論文参考訳（メタデータ） (2025-08-14T04:48:46Z)
Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
論文参考訳（メタデータ） (2025-03-21T18:06:28Z)
From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
Order Matters: Agent-by-agent Policy Optimization [41.017093493743765]
ポリシーをエージェント・バイ・エージェントに更新するシーケンシャルなスキームは、別の視点を提供し、高いパフォーマンスを示す。サンプル効率を向上させるために,textbfAgent-by-textbfagent textbfPolicy textbfOptimization (A2PO)アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-02-13T09:24:34Z)
Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
論文参考訳（メタデータ） (2022-01-31T20:39:48Z)
Local Advantage Actor-Critic for Robust Multi-Agent Deep Reinforcement Learning [19.519440854957633]
本稿では,Robost Local Advantage (ROLA) Actor-Criticと呼ばれるマルチエージェントポリシー勾配法を提案する。 ROLAにより、各エージェントはローカルな批評家として個々のアクション値関数を学習し、環境の非定常性を改善することができる。複数の最先端マルチエージェントポリシー勾配アルゴリズムに対して,ROLAの堅牢性と有効性を示す。
論文参考訳（メタデータ） (2021-10-16T19:03:34Z)
Trust Region Policy Optimisation in Multi-Agent Reinforcement Learning [25.027143431992755]
信頼領域の手法により、強化学習(RL)エージェントが単調な政策改善を学ぶことができるようになり、様々なタスクにおいて優れたパフォーマンスが得られた。残念ながら、マルチエージェント強化学習(MARL)では、単調改善の特性は単純に適用できない。本稿では、信頼領域学習の理論をMARLに拡張し、マルチエージェント・アドバンテージ分解補題とシーケンシャルポリシー更新スキームについて述べる。これらに基づき、異種信託地域政策最適化(HATPRO)と異種信託地域政策最適化(HATPRO)を開発する。
論文参考訳（メタデータ） (2021-09-23T09:44:35Z)
Multi-agent Policy Optimization with Approximatively Synchronous Advantage Estimation [55.96893934962757]
マルチエージェントシステムでは、異なるエージェントの警察を共同で評価する必要がある。現在の方法では、バリュー関数やアドバンテージ関数は非同期に評価される対実関節アクションを使用する。本研究では,近似的に同期する利点推定を提案する。
論文参考訳（メタデータ） (2020-12-07T07:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。