論文の概要: Assigning Credit with Partial Reward Decoupling in Multi-Agent Proximal Policy Optimization

• arxiv url: http://arxiv.org/abs/2408.04295v1
• Date: Thu, 8 Aug 2024 08:18:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 16:08:12.676825
• Title: Assigning Credit with Partial Reward Decoupling in Multi-Agent Proximal Policy Optimization
• Title（参考訳）: 多エージェント政策最適化における部分リワードデカップリングによるクレジットの割り当て
• Authors: Aditya Kapoor, Benjamin Freed, Howie Choset, Jeff Schneider,
• Abstract要約: 本稿では,MAPPOの改善に向け,近年の信用代入に適応したマルチエージェント強化学習アルゴリズムを提案する。 当社のアプローチであるPRD-MAPPOは、将来期待される報酬に影響を与えないチームメイトからエージェントを分離することで、クレジットの割り当てを合理化します。 PRD-MAPPOはMAPPOと他の最先端手法と比較してデータ効率と性能が著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 22.148299126441966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent proximal policy optimization (MAPPO) has recently demonstrated state-of-the-art performance on challenging multi-agent reinforcement learning tasks. However, MAPPO still struggles with the credit assignment problem, wherein the sheer difficulty in ascribing credit to individual agents' actions scales poorly with team size. In this paper, we propose a multi-agent reinforcement learning algorithm that adapts recent developments in credit assignment to improve upon MAPPO. Our approach leverages partial reward decoupling (PRD), which uses a learned attention mechanism to estimate which of a particular agent's teammates are relevant to its learning updates. We use this estimate to dynamically decompose large groups of agents into smaller, more manageable subgroups. We empirically demonstrate that our approach, PRD-MAPPO, decouples agents from teammates that do not influence their expected future reward, thereby streamlining credit assignment. We additionally show that PRD-MAPPO yields significantly higher data efficiency and asymptotic performance compared to both MAPPO and other state-of-the-art methods across several multi-agent tasks, including StarCraft II. Finally, we propose a version of PRD-MAPPO that is applicable to \textit{shared} reward settings, where PRD was previously not applicable, and empirically show that this also leads to performance improvements over MAPPO.
• Abstract（参考訳）: マルチエージェント近似ポリシー最適化(MAPPO)は,最近,マルチエージェント強化学習タスクにおける最先端性能を実証した。 しかしMAPPOは、個々のエージェントの行動にクレジットを割り当てることの難しさがチームの規模に悪影響を及ぼすという、クレジット割り当ての問題に苦慮している。 本稿では,MAPPOの改善に向け,近年の信用代入に適応したマルチエージェント強化学習アルゴリズムを提案する。 このアプローチでは、学習したアテンションメカニズムを使用して、学習更新に関連する特定のエージェントのチームメイトを見積もる。 この推定値を用いて、大規模なエージェント群をより小さく、より管理しやすいサブグループに動的に分解する。 我々は,我々のアプローチであるPRD-MAPPOが,期待する将来的な報酬に影響を与えないチームメイトからエージェントを分離し,クレジットの割り当てを合理化していることを実証的に実証した。 また, PRD-MAPPOは, StarCraft IIを含む複数のマルチエージェントタスクにおけるMAPPOおよび他の最先端手法と比較して,データ効率と漸近性能を著しく向上させることを示した。 最後に PRD-MAPPO のバージョンを提案し,PRD が以前は適用されなかった \textit{shared} 報酬設定に適用し,MAPPO よりも性能が向上したことを示す。

関連論文リスト

• Cooperative Reward Shaping for Multi-Agent Pathfinding [4.244426154524592]
  MAPF(Multi-Agent Pathfinding)の主な目的は、全てのエージェントに対して効率的で競合のないパスを計画することである。 従来のマルチエージェントパス計画アルゴリズムは、複数のエージェントに対して効率的な分散パス計画を実現するのに苦労する。 独立Q-Learning(IQL)に基づく独自の報酬形成手法を紹介する。
  論文  参考訳（メタデータ） (2024-07-15T02:44:41Z)
• Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning [51.52387511006586]
  本稿では,HOP(Hierarchical Opponent Modeling and Planning)を提案する。 HOPは階層的に2つのモジュールから構成される: 相手の目標を推論し、対応する目標条件のポリシーを学ぶ、反対モデリングモジュール。 HOPは、さまざまな未確認エージェントと相互作用する際、優れた少数ショット適応能力を示し、セルフプレイのシナリオで優れている。
  論文  参考訳（メタデータ） (2024-06-12T08:48:06Z)
• Mimicking Better by Matching the Approximate Action Distribution [48.95048003354255]
  そこで我々は,Imitation Learning from Observationsのための新しい,サンプル効率の高いオンライン政治アルゴリズムMAADを紹介する。 我々は、専門家のパフォーマンスを達成するためには、かなり少ないインタラクションが必要であり、現在最先端の政治手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T12:43:47Z)
• Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling [13.915157044948364]
  マルチエージェント強化学習をスケールする上で重要な障害の1つは、個々のエージェントの行動にクレジットを割り当てることである。 本稿では,このクレジット代入問題に対して,PRD(textitpartial reward decoupling)と呼ぶアプローチで対処する。 PRDは、大規模な協調的マルチエージェントRL問題を、エージェントのサブセットを含む分離されたサブプロブレムに分解し、クレジット割り当てを単純化する。
  論文  参考訳（メタデータ） (2021-12-23T17:48:04Z)
• Trust Region Policy Optimisation in Multi-Agent Reinforcement Learning [25.027143431992755]
  信頼領域の手法により、強化学習(RL)エージェントが単調な政策改善を学ぶことができるようになり、様々なタスクにおいて優れたパフォーマンスが得られた。 残念ながら、マルチエージェント強化学習(MARL)では、単調改善の特性は単純に適用できない。 本稿では、信頼領域学習の理論をMARLに拡張し、マルチエージェント・アドバンテージ分解補題とシーケンシャルポリシー更新スキームについて述べる。 これらに基づき、異種信託地域政策最適化(HATPRO)と異種信託地域政策最適化(HATPRO)を開発する。
  論文  参考訳（メタデータ） (2021-09-23T09:44:35Z)
• The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games [67.47961797770249]
  マルチエージェントPPO(MAPPO)は、集中型値関数を採用するマルチエージェントPPOバリアントである。 MAPPOは,3つの一般的なマルチエージェントテストベッドにおいて,最先端技術に匹敵する性能を実現していることを示す。
  論文  参考訳（メタデータ） (2021-03-02T18:59:56Z)
• Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge? [100.48692829396778]
  独立PPO (Independent PPO) は独立学習の一種であり、各エージェントはその局所値関数を単純に推定する。 IPPOの強い性能は、ある種の非定常性に対する堅牢性に起因する可能性がある。
  論文  参考訳（メタデータ） (2020-11-18T20:29:59Z)
• Off-Policy Multi-Agent Decomposed Policy Gradients [30.389041305278045]
  我々は、MAPGアルゴリズムの性能を阻害する原因を調査し、マルチエージェント分解ポリシー勾配法(DOP)を提案する。 DOPは効率的な非政治学習をサポートし、中央集権型ミスマッチと信用割当の問題に対処する。 さらに、StarCraft IIマイクロマネジメントベンチマークとマルチエージェント粒子環境に関する実証的な評価は、DOPが最先端の値ベースおよびポリシーベースのマルチエージェント強化学習アルゴリズムよりも大幅に優れていることを示している。
  論文  参考訳（メタデータ） (2020-07-24T02:21:55Z)
• FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
  FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。 離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。 我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
  論文  参考訳（メタデータ） (2020-03-14T21:29:09Z)
• Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
  マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。 本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。