論文の概要: Rethinking Ratio-Based Trust Regions for Policy Optimization in Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.09212v1
• Date: Sat, 09 May 2026 23:14:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.115234
• Title: Rethinking Ratio-Based Trust Regions for Policy Optimization in Multi-Agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習における政策最適化のための比率に基づく信頼領域の再考
• Abstract要約: 共同優位推定法により重み付けされたエージェントごとの確率比を用いて、分散化アクターを更新する。 我々は,これらの付加的比に基づく信頼領域機構を乗法的に対称な幾何学的障壁に置き換える,新しい政策最適化目標であるマルチエージェント比対称性(MARS)を導入する。 MARSは環境レベルの総合的なパフォーマンスにおいてMAPPOとMASPOに一致または超える。
• 参考スコア（独自算出の注目度）: 8.199581456016062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Centralized training with decentralized execution (CTDE) is a standard framework for cooperative multi-agent policy-gradient reinforcement learning, allowing agents to learn from joint information while acting from local observations. Ratio-based trust-region methods such as Multi-Agent Proximal Policy Optimization (MAPPO) and Multi-Agent Simple Policy Optimization (MASPO) update decentralized actors using per-agent probability ratios weighted by joint advantage estimates. Teammate non-stationarity increases the variance of these advantages, which in turn increases the variance in the local ratio updates. This exposes two method-specific failure modes: MAPPO's additive clipping removes gradients for outlier samples and weakens recovery from policy drift, while MASPO's soft quadratic penalty can allow probability collapse. We introduce Multi-Agent Ratio Symmetry (MARS), a novel policy optimization objective that replaces these additive ratio-based trust-region mechanisms with a multiplicatively symmetric geometric barrier. MARS preserves corrective gradients while assigning unbounded cost as probability ratios approach zero. Across 47 tasks spanning eight multi-agent environments, including novel JAX benchmarks PaxMen and AeroJAX, MARS matches or exceeds MAPPO and MASPO in aggregate environment-level performance. Ablations show that these gains arise from the geometry of the symmetric barrier rather than from flexible trust-region boundaries alone.
• Abstract（参考訳）: 分散実行による集中訓練(CTDE)は、協調型多エージェント政策段階強化学習の標準フレームワークであり、エージェントは局所的な観察から行動しながら、共同情報から学習することができる。 MASPO (Multi-Agent Proximal Policy Optimization) やMulti-Agent Simple Policy Optimization (MASPO) のような信頼領域の比率に基づく手法は、共同優位推定によって重み付けされたエージェントごとの確率比を用いて、分散化されたアクターを更新する。 チームメイト非定常性はこれらの利点の分散を増大させ、その結果、局所比更新のばらつきを増大させる。 MAPPOの付加的クリッピングは、外れ値サンプルの勾配を除去し、ポリシードリフトからの回復を弱める一方、MASPOのソフト2次ペナルティは確率崩壊を可能にする。 我々は,これらの付加的比に基づく信頼領域機構を乗法的に対称な幾何学的障壁に置き換える,新しい政策最適化目標であるマルチエージェント比対称性(MARS)を導入する。 MARSは非有界なコストを確率比がゼロに近づきながら補正勾配を保存する。 8つのマルチエージェント環境にまたがる47のタスクには、新しいJAXベンチマークであるPaxMenとAeroJAXが含まれる。 アブレーションは、これらの利得は、フレキシブルな信頼境界境界のみからではなく、対称障壁の幾何学から生じることを示している。

関連論文リスト

• ACPO: Agent-Chained Policy Optimization for Multi-Agent Reinforcement Learning [47.96591344642519]
  マルチエージェント強化学習では、エージェントが共有リターンを最大化する必要がある。 従来の手法は主に2つのアプローチに従う: 中央集権的な批評家による独立因数分解された更新、または最高のレスポンス更新の交互化である。 共同政策グラデーションは, エージェントごとのスコア関数と分散型批評家から構成される, エージェントごとの項の正確な分散分解を許容することを示す。 この結果の中心は、エージェントが一度に一つずつ行動し、各エージェントが先行する行動に対する信念を条件付ける、同時共同決定のシリアライズされた見解である。
  論文  参考訳（メタデータ） (2026-06-29T10:04:15Z)
• Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models [61.74572554094633]
  比クリッピングは流れモデルに不適であると主張する。 本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPOを提案する。 実験により,フローDPPOはKL近位効率が向上し,高い報酬が得られることが示された。
  論文  参考訳（メタデータ） (2026-06-09T15:59:57Z)
• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Multi-Agent Trust Region Policy Optimisation: A Joint Constraint Approach [17.48210470289556]
  Heterogeneous-Agent Trust Region Policy Optimization (HATRPO) は、Kulback-Leibler (KL) の分散を用いて、訓練の安定化を図る。 各エージェントを同じKL閾値に割り当てると、特に不均一な設定において、遅くて局所的に最適な更新につながる可能性がある。 エージェント間のKL分散しきい値の割当には,グローバルなKL制約下でのしきい値割り当てを最適化するKKT法であるHATRPO-Wと,改善に基づくエージェントの優先順位付けを行うgreedyアルゴリズムであるHATRPO-Gの2つの方法を提案する。
  論文  参考訳（メタデータ） (2025-08-14T04:48:46Z)
• Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies [3.5253513747455303]
  独立政策勾配アルゴリズムは、協調型・非競合型ゲームにおけるマルチエージェント強化学習(MARL)に広く用いられている。 これらは、各エージェントのポリシー勾配が準最適均衡に向かっているときに、亜最適収束することが知られている。 共同サンプリング誤差を低減するための適応的な動作サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2025-08-01T20:07:25Z)
• AlberDICE: Addressing Out-Of-Distribution Joint Actions in Offline Multi-Agent RL via Alternating Stationary Distribution Correction Estimation [65.4532392602682]
  オフライン強化学習(RL)の主な課題の1つは、データ収集ポリシーから逸脱した学習ポリシーから生じる分散シフトである。 これはしばしば、政策改善中のアウト・オブ・ディストリビューション(OOD)アクションを避けることで対処される。 本稿では,定常分布最適化に基づく個別エージェントの集中学習を行うオフラインMARLアルゴリズムAlberDICEを紹介する。
  論文  参考訳（メタデータ） (2023-11-03T18:56:48Z)
• Local Optimization Achieves Global Optimality in Multi-Agent Reinforcement Learning [139.53668999720605]
  本稿では,各エージェントのローカルポリシーをバニラPPOと同様に更新するマルチエージェントPPOアルゴリズムを提案する。 マルコフゲームにおける標準正則条件と問題依存量により、我々のアルゴリズムはサブリニアレートで大域的最適ポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T16:20:03Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via Trust Region Decomposition [52.06086375833474]
  非定常性は多エージェント強化学習における厄介な問題である。 ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。 共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-02-21T14:46:50Z)
• Multi-Agent Trust Region Policy Optimization [34.91180300856614]
  TRPOのポリシー更新は,マルチエージェントケースに対する分散コンセンサス最適化問題に変換可能であることを示す。 マルチエージェントTRPO(MATRPO)と呼ばれる分散MARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-15T17:49:47Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。