論文の概要: Deep Implicit Coordination Graphs for Multi-agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2006.11438v2
• Date: Wed, 3 Feb 2021 23:29:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 04:14:34.143160
• Title: Deep Implicit Coordination Graphs for Multi-agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習のための深層命令コーディネートグラフ
• Authors: Sheng Li, Jayesh K. Gupta, Peter Morales, Ross Allen, Mykel J. Kochenderfer
• Abstract要約: 本稿では,このようなシナリオに対するディープ暗黙協調グラフ(DICG)アーキテクチャを提案する。 DICGは、動的コーディネーショングラフ構造を推論するモジュールで構成されており、グラフニューラルネットワークベースのモジュールによって、ジョイントアクションや値について暗黙的に推論することを学ぶために使用される。 以上の結果から,DICGは捕食・捕食作業における相対的過一般化の問題を解消し,また,課題であるStarCraft II Multi-agent Challenge (SMAC) や交通ジャンクション環境において,様々なMARLベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 36.844163371495995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent reinforcement learning (MARL) requires coordination to efficiently solve certain tasks. Fully centralized control is often infeasible in such domains due to the size of joint action spaces. Coordination graph based formalization allows reasoning about the joint action based on the structure of interactions. However, they often require domain expertise in their design. This paper introduces the deep implicit coordination graph (DICG) architecture for such scenarios. DICG consists of a module for inferring the dynamic coordination graph structure which is then used by a graph neural network based module to learn to implicitly reason about the joint actions or values. DICG allows learning the tradeoff between full centralization and decentralization via standard actor-critic methods to significantly improve coordination for domains with large number of agents. We apply DICG to both centralized-training-centralized-execution and centralized-training-decentralized-execution regimes. We demonstrate that DICG solves the relative overgeneralization pathology in predatory-prey tasks as well as outperforms various MARL baselines on the challenging StarCraft II Multi-agent Challenge (SMAC) and traffic junction environments.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)は、特定のタスクを効率的に解くために協調を必要とする。 完全集中制御は、協調作用空間の大きさのため、そのような領域では実現できないことが多い。 コーディネーショングラフに基づく形式化は、相互作用の構造に基づく共同作用の推論を可能にする。 しかし、しばしばドメインの専門知識を必要とする。 本稿では,このようなシナリオに対するディープ暗黙協調グラフ(DICG)アーキテクチャを提案する。 dicgは、動的コーディネーショングラフ構造を推論するモジュールで構成されており、グラフニューラルネットワークベースのモジュールが共同動作や値について暗黙的に推論することを学ぶために使用される。 dicgは、標準的なアクタ-クリティック手法による完全な中央集権化と分散化の間のトレードオフを学習し、多数のエージェントを持つドメインのコーディネーションを大幅に改善することができる。 集中訓練-分散実行体制と集中訓練-分散実行体制の両方にDICGを適用する。 以上の結果から,DICGは捕食・捕食作業における相対的オーバージェネライズパスを解消するとともに,StarCraft II Multi-agent Challenge (SMAC) や交通ジャンクション環境において,様々なMARLベースラインを上回る性能を達成している。

関連論文リスト

• Hierarchical Consensus-Based Multi-Agent Reinforcement Learning for Multi-Robot Cooperation Tasks [17.914928652949314]
  階層型合意に基づくマルチエージェント強化学習(HC-MARL)フレームワークを導入し,その限界に対処する。 HC-MARLは、エージェント間のグローバルコンセンサスを促進するために対照的な学習を採用し、直接のコミュニケーションなしに協調行動を可能にする。 様々なタスクの動的な要求を満たすために、コンセンサスを複数の層に分割し、短期的および長期的考慮を包含する。
  論文  参考訳（メタデータ） (2024-07-11T03:55:55Z)
• Self-Clustering Hierarchical Multi-Agent Reinforcement Learning with Extensible Cooperation Graph [9.303181273699417]
  本稿では階層型協調グラフ学習(HCGL)と呼ばれる新しい階層型MARLモデルを提案する。 HCGLには3つのコンポーネントがある: 自己クラスタ化協調を実現する動的協調グラフ(ECG)、ECGのトポロジを調整するグラフ演算子のグループ、これらのグラフ演算子のトレーニングのためのMARL。 実験では, HCGLモデルは, スパース報酬を伴うマルチエージェントベンチマークにおいて, 優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-26T19:19:16Z)
• Causality is all you need [63.10680366545293]
  因果グラフルーティング(Causal Graph Routing, CGR)は、データに隠された原因影響力を明らかにするための介入機構を完全に依存した統合因果スキームである。 CGRは、Visual Question AnswerとLong Document Classificationタスクの両方において、最先端のメソッドを超越することができる。
  論文  参考訳（メタデータ） (2023-11-21T02:53:40Z)
• Decentralized Adversarial Training over Graphs [55.28669771020857]
  機械学習モデルの敵攻撃に対する脆弱性は、近年、かなりの注目を集めている。 この研究は、個々のエージェントが様々な強度摂動空間に従属するグラフ上の敵の訓練を研究する。
  論文  参考訳（メタデータ） (2023-03-23T15:05:16Z)
• RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning [55.55009081609396]
  本稿では、アドホックな協調シナリオにおいてゼロショットの一般化を実現するRACA(Relation-Aware Credit Assignment)と呼ばれる新しい手法を提案する。 RACAは、エージェント間のトポロジ構造を符号化するために、グラフベースのエンコーダ関係を利用する。 提案手法は,StarCraftIIマイクロマネジメントベンチマークとアドホック協調シナリオのベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-02T03:39:27Z)
• Scalable Anytime Planning for Multi-Agent MDPs [37.69939216970677]
  動的協調を必要とする大規模マルチエージェント連続的決定問題に対するスケーラブルな木探索計画アルゴリズムを提案する。 提案アルゴリズムは,モンテカルロ木探索 (MCTS) を用いたオンライン計画,協調グラフを用いた局所エージェント相互作用の因子表現,および協調行動選択のための反復マックスプラス法からなる。
  論文  参考訳（メタデータ） (2021-01-12T22:50:17Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。