論文の概要: Counterfactual Multi-Agent Reinforcement Learning with Graph Convolution Communication

• arxiv url: http://arxiv.org/abs/2004.00470v2
• Date: Tue, 29 Dec 2020 00:57:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 19:12:07.842716
• Title: Counterfactual Multi-Agent Reinforcement Learning with Graph Convolution Communication
• Title（参考訳）: グラフ畳み込み通信を用いたマルチエージェント強化学習
• Authors: Jianyu Su, Stephen Adams, and Peter A. Beling
• Abstract要約: 本稿では,エージェントが協調してシステムの有用性を最大化する,完全協調型マルチエージェントシステムについて考察する。 マルチエージェントシステムには,エージェント間の相互作用を伝達し,理解する能力が必要である。 エージェント間の通信を可能にするアーキテクチャを開発し,各エージェントに対するシステム報酬を調整する。
• 参考スコア（独自算出の注目度）: 5.5438676149999075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a fully cooperative multi-agent system where agents cooperate to maximize a system's utility in a partial-observable environment. We propose that multi-agent systems must have the ability to (1) communicate and understand the inter-plays between agents and (2) correctly distribute rewards based on an individual agent's contribution. In contrast, most work in this setting considers only one of the above abilities. In this study, we develop an architecture that allows for communication among agents and tailors the system's reward for each individual agent. Our architecture represents agent communication through graph convolution and applies an existing credit assignment structure, counterfactual multi-agent policy gradient (COMA), to assist agents to learn communication by back-propagation. The flexibility of the graph structure enables our method to be applicable to a variety of multi-agent systems, e.g. dynamic systems that consist of varying numbers of agents and static systems with a fixed number of agents. We evaluate our method on a range of tasks, demonstrating the advantage of marrying communication with credit assignment. In the experiments, our proposed method yields better performance than the state-of-art methods, including COMA. Moreover, we show that the communication strategies offers us insights and interpretability of the system's cooperative policies.
• Abstract（参考訳）: 本稿では,エージェントが協調してシステムの有用性を最大化する,完全協調型マルチエージェントシステムについて考察する。 我々は,(1)エージェント間の相互作用をコミュニケーションし,理解し,(2)個々のエージェントの貢献に基づいて報酬を正しく分配する能力を持つマルチエージェントシステムを提案する。 対照的に、この設定でのほとんどの仕事は、上記の能力のうちの1つしか考慮していない。 本研究では,エージェント間のコミュニケーションを可能にし,個々のエージェントに対するシステム報酬を調整できるアーキテクチャを開発した。 我々のアーキテクチャは,グラフ畳み込みによるエージェントコミュニケーションを表現し,既存の信用割当構造であるCOMAを適用して,バックプロパゲーションによるコミュニケーションの学習を支援する。 グラフ構造の柔軟性により,エージェント数が異なる動的システムや一定数のエージェントを持つ静的システムなど,様々なマルチエージェントシステムに適用することが可能となる。 本手法を様々なタスクで評価し、クレジット代入によるコミュニケーションの結婚の利点を実証する。 実験では,提案手法はCOMAを含む最先端手法よりも優れた性能を示す。 さらに,コミュニケーション戦略は,システムの協調政策に対する洞察と解釈可能性をもたらすことを示す。

関連論文リスト

• Communication Learning in Multi-Agent Systems from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 本稿では,各エージェントに対して時間的ゲーティング機構を導入し,ある時間に共有情報を受信するかどうかの動的決定を可能にする。
  論文  参考訳（メタデータ） (2024-11-01T05:56:51Z)
• Learning Multi-Agent Communication from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 提案手法であるCommFormerは,通信グラフを効率よく最適化し,勾配降下によるアーキテクチャパラメータをエンドツーエンドで並列に洗練する。
  論文  参考訳（メタデータ） (2024-05-14T12:40:25Z)
• AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors [93.38830440346783]
  本稿では,その構成をより高機能なシステムとして協調的に調整できるマルチエージェントフレームワークを提案する。 実験により,フレームワークが単一エージェントより優れたマルチエージェントグループを効果的に展開できることが実証された。 これらの振舞いの観点から、我々は、ポジティブなものを活用し、ネガティブなものを緩和し、マルチエージェントグループの協調可能性を改善するためのいくつかの戦略について議論する。
  論文  参考訳（メタデータ） (2023-08-21T16:47:11Z)
• Coordinating Policies Among Multiple Agents via an Intelligent Communication Channel [81.39444892747512]
  MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。 本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
  論文  参考訳（メタデータ） (2022-05-21T14:11:33Z)
• Multi-agent Policy Optimization with Approximatively Synchronous Advantage Estimation [55.96893934962757]
  マルチエージェントシステムでは、異なるエージェントの警察を共同で評価する必要がある。 現在の方法では、バリュー関数やアドバンテージ関数は非同期に評価される対実関節アクションを使用する。 本研究では,近似的に同期する利点推定を提案する。
  論文  参考訳（メタデータ） (2020-12-07T07:29:19Z)
• The Emergence of Adversarial Communication in Multi-Agent Reinforcement Learning [6.18778092044887]
  多くの現実世界の問題は、複数の自律エージェントの調整を必要とする。 最近の研究は、複雑なマルチエージェント協調を可能にする明示的なコミュニケーション戦略を学ぶためのグラフニューラルネットワーク(GNN)の約束を示している。 一つの利己的なエージェントが高度に操作的なコミュニケーション戦略を学習し、協調的なエージェントチームを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-08-06T12:48:08Z)
• A Visual Communication Map for Multi-Agent Deep Reinforcement Learning [7.003240657279981]
  マルチエージェント学習は、隠蔽された通信媒体を割り当てる上で大きな課題となる。 最近の研究は一般的に、エージェント間の通信を可能にするために、特殊なニューラルネットワークと強化学習を組み合わせる。 本稿では,多数のエージェントを扱うだけでなく,異種機能エージェント間の協調を可能にする,よりスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T02:38:21Z)
• Learning Multi-Agent Coordination through Connectivity-driven Communication [7.462336024223669]
  人工マルチエージェントシステムでは、エージェントのコミュニケーションスキルに基づいて協調的なポリシーを学習することができる。 我々は、深い強化学習アプローチであるコネクティビティ駆動通信(CDC)を提案する。 CDCは効果的な協調政策を学習でき、協調ナビゲーションタスクにおいて競合する学習アルゴリズムをオーバーパフォーマンスさせることができる。
  論文  参考訳（メタデータ） (2020-02-12T20:58:33Z)
• Multi-Agent Interactions Modeling with Correlated Policies [53.38338964628494]
  本稿では,マルチエージェントインタラクションモデリング問題をマルチエージェント模倣学習フレームワークに実装する。 相関ポリシー(CoDAIL)を用いた分散型適応模倣学習アルゴリズムの開発 様々な実験により、CoDAILはデモレーターに近い複雑な相互作用をより良く再生できることが示されている。
  論文  参考訳（メタデータ） (2020-01-04T17:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。