論文の概要: Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies
- arxiv url: http://arxiv.org/abs/2508.01049v1
- Date: Fri, 01 Aug 2025 20:07:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:21.680689
- Title: Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies
- Title（参考訳）: 独立多エージェント政策の信頼性向上のための集中型適応サンプリング
- Authors: Nicholas E. Corrado, Josiah P. Hanna,
- Abstract要約: 独立政策勾配アルゴリズムは、協調型・非競合型ゲームにおけるマルチエージェント強化学習(MARL)に広く用いられている。
これらは、各エージェントのポリシー勾配が準最適均衡に向かっているときに、亜最適収束することが知られている。
共同サンプリング誤差を低減するための適応的な動作サンプリング手法を提案する。
- 参考スコア（独自算出の注目度）: 3.5253513747455303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Independent on-policy policy gradient algorithms are widely used for multi-agent reinforcement learning (MARL) in cooperative and no-conflict games, but they are known to converge suboptimally when each agent's policy gradient points toward a suboptimal equilibrium. In this work, we identify a subtler failure mode that arises \textit{even when the expected policy gradients of all agents point toward an optimal solution.} After collecting a finite set of trajectories, stochasticity in independent action sampling can cause the joint data distribution to deviate from the expected joint on-policy distribution. This \textit{sampling error} w.r.t. the joint on-policy distribution produces inaccurate gradient estimates that can lead agents to converge suboptimally. In this paper, we investigate if joint sampling error can be reduced through coordinated action selection and whether doing so improves the reliability of policy gradient learning in MARL. Toward this end, we introduce an adaptive action sampling approach to reduce joint sampling error. Our method, Multi-Agent Proximal Robust On-Policy Sampling (MA-PROPS), uses a centralized behavior policy that we continually adapt to place larger probability on joint actions that are currently under-sampled w.r.t. the current joint policy. We empirically evaluate MA-PROPS in a diverse range of multi-agent games and demonstrate that (1) MA-PROPS reduces joint sampling error more efficiently than standard on-policy sampling and (2) improves the reliability of independent policy gradient algorithms, increasing the fraction of training runs that converge to an optimal joint policy.
- Abstract（参考訳）: 独立型オンライン政策勾配アルゴリズムは、協調型および非競合型ゲームにおけるマルチエージェント強化学習(MARL)に広く用いられているが、各エージェントのポリシー勾配が準最適均衡を向いたときに、下位に収束することが知られている。
本研究では,全てのエージェントが期待するポリシー勾配を最適解に向けると,より微妙な障害モードが生じる。
} 有限軌跡を収集した後, 独立行動サンプリングにおける確率性は, ジョイントデータ分布を, 期待されるジョイントオン・ポリティクス分布から逸脱させる可能性がある。
この「textit{sampling error} w.r.t. の合同オン・ポリティ分布は不正確な勾配推定を発生させ、エージェントを過度に最適に収束させる。
本稿では,協調行動選択によって共同サンプリング誤差を低減することができるか,MARLにおけるポリシー勾配学習の信頼性を向上させるかを検討する。
そこで本研究では,共同サンプリング誤差を低減するための適応的な動作サンプリング手法を提案する。
筆者らの手法であるMA-PROPS(Multi-Agent Proximal Robust On-Policy Smpling)は,現在の共同政策に準じて,現在アンダーサンプリングされている共同行動に対して,より大きな確率で適応可能な集中的行動ポリシーを用いている。
多様なマルチエージェントゲームにおけるMA-PROPSを実証的に評価し,(1)MA-PROPSは通常のオンラインサンプリングよりも効率よく,(2)独立政策勾配アルゴリズムの信頼性を向上し,最適な共同政策に収束するトレーニングの実行回数を増加させることを示した。
関連論文リスト
- Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。
この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
論文 参考訳（メタデータ） (2025-05-09T11:42:31Z) - Offline Multi-Agent Reinforcement Learning via In-Sample Sequential Policy Optimization [8.877649895977479]
オフラインマルチエージェント強化学習(英語: offline Multi-Agent Reinforcement Learning, MARL)は、事前コンパイルされたデータセットから最適なマルチエージェントポリシーを学ぶことを目的とした新興分野である。
本研究では、既存のオフラインMARLメソッドを再検討し、特定のシナリオにおいて問題となる可能性があることを示す。
In-Sample Sequential Policy Optimization (InSPO) と呼ばれる新しいオフラインMARLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-10T16:19:08Z) - Simulation-Based Optimistic Policy Iteration For Multi-Agent MDPs with Kullback-Leibler Control Cost [3.9052860539161918]
本稿では,マルコフ決定過程(MDP)における定常最適ポリシー学習のためのエージェントベース楽観的ポリシー(OPI)手法を提案する。
提案手法は, 強欲政策改善段階とm段階時間差(TD)政策評価段階から構成される。
我々は,OPIスキームの同期(入出力状態空間の評価)と非同期(一様にサンプリングされたサブステートの集合)の両バージョンが,最適値関数と最適共同ポリシーのロールアウトに収束することを示した。
論文 参考訳（メタデータ） (2024-10-19T17:00:23Z) - Local Optimization Achieves Global Optimality in Multi-Agent
Reinforcement Learning [139.53668999720605]
本稿では,各エージェントのローカルポリシーをバニラPPOと同様に更新するマルチエージェントPPOアルゴリズムを提案する。
マルコフゲームにおける標準正則条件と問題依存量により、我々のアルゴリズムはサブリニアレートで大域的最適ポリシーに収束することを示す。
論文 参考訳（メタデータ） (2023-05-08T16:20:03Z) - Distributed Policy Gradient with Variance Reduction in Multi-Agent
Reinforcement Learning [7.4447396913959185]
本稿では,協調型マルチエージェント強化学習(MARL)における分散ポリシ勾配について検討する。
通信ネットワーク上のエージェントは、すべてのエージェントのローカルリターンの平均を最大化するための最適なポリシーを見つけることを目的としている。
論文 参考訳（メタデータ） (2021-11-25T08:07:30Z) - Convergence Rates of Average-Reward Multi-agent Reinforcement Learning
via Randomized Linear Programming [41.30044824711509]
我々は,グローバル報酬が地域報酬の総和であり,共同政策がエージェントの限界と州全体の可観測性に分解される場合に焦点を当てる。
エージェントが局所的なサドル点問題を解き、局所的な重み付き平均化を行うマルチエージェント拡張を開発する。
準グロブリー最適解を得るためのサンプルの複雑さは、状態空間と作用空間の濃度に対する厳密な依存と一致することを確かめる。
論文 参考訳（メタデータ） (2021-10-22T03:48:41Z) - Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via
Trust Region Decomposition [52.06086375833474]
非定常性は多エージェント強化学習における厄介な問題である。
ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。
共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
論文 参考訳（メタデータ） (2021-02-21T14:46:50Z) - Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。
制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-02-16T14:53:55Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z) - Variational Policy Propagation for Multi-agent Reinforcement Learning [68.26579560607597]
本稿では,エージェント間の相互作用を通じて,共役ポリシーを学習するために,変動ポリシー伝搬 (VPP) という,共役型多エージェント強化学習アルゴリズムを提案する。
共同政策がマルコフランダム場(Markov Random Field)であることは、いくつかの穏やかな条件下で証明し、それによって政策空間を効果的に減少させる。
我々は、マルコフ確率場から効率的に行動をサンプリングでき、全体的な政策が微分可能であるようなポリシーにおいて、変動推論を特別な微分可能な層として統合する。
論文 参考訳（メタデータ） (2020-04-19T15:42:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。