論文の概要: Learning Multi-Agent Coordination through Connectivity-driven
Communication
- arxiv url: http://arxiv.org/abs/2002.05233v4
- Date: Thu, 1 Dec 2022 16:29:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 18:54:07.889951
- Title: Learning Multi-Agent Coordination through Connectivity-driven
Communication
- Title(参考訳): コネクティビティ駆動型コミュニケーションによるマルチエージェント協調学習
- Authors: Emanuele Pesce, Giovanni Montana
- Abstract要約: 人工マルチエージェントシステムでは、エージェントのコミュニケーションスキルに基づいて協調的なポリシーを学習することができる。
我々は、深い強化学習アプローチであるコネクティビティ駆動通信(CDC)を提案する。
CDCは効果的な協調政策を学習でき、協調ナビゲーションタスクにおいて競合する学習アルゴリズムをオーバーパフォーマンスさせることができる。
- 参考スコア(独自算出の注目度): 7.462336024223669
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In artificial multi-agent systems, the ability to learn collaborative
policies is predicated upon the agents' communication skills: they must be able
to encode the information received from the environment and learn how to share
it with other agents as required by the task at hand. We present a deep
reinforcement learning approach, Connectivity Driven Communication (CDC), that
facilitates the emergence of multi-agent collaborative behaviour only through
experience. The agents are modelled as nodes of a weighted graph whose
state-dependent edges encode pair-wise messages that can be exchanged. We
introduce a graph-dependent attention mechanisms that controls how the agents'
incoming messages are weighted. This mechanism takes into full account the
current state of the system as represented by the graph, and builds upon a
diffusion process that captures how the information flows on the graph. The
graph topology is not assumed to be known a priori, but depends dynamically on
the agents' observations, and is learnt concurrently with the attention
mechanism and policy in an end-to-end fashion. Our empirical results show that
CDC is able to learn effective collaborative policies and can over-perform
competing learning algorithms on cooperative navigation tasks.
- Abstract(参考訳): 人工マルチエージェントシステムでは、エージェントのコミュニケーションスキルに基づいて協調ポリシーを学習する能力が示される: エージェントは環境から受信した情報をエンコードし、そのタスクが必要とする他のエージェントと共有する方法を学ぶ必要がある。
我々は,多エージェント協調行動の出現を経験を通してのみ促進する,深い強化学習手法であるコネクティビティ駆動コミュニケーション(CDC)を提案する。
エージェントは重み付きグラフのノードとしてモデル化され、状態依存のエッジは交換可能な対方向のメッセージをエンコードする。
エージェントの受信メッセージの重み付け方法を制御する,グラフ依存型アテンション機構を導入する。
このメカニズムは、グラフで表されるシステムの現在の状態をフルに考慮し、その情報がどのようにグラフ上で流れるかをキャプチャする拡散プロセスの上に構築する。
グラフトポロジーは事前には知られていないが、エージェントの観察に動的に依存しており、エンドツーエンドで注意機構とポリシーと並行して学習される。
実験の結果,cdcは効果的な協調政策を学習でき,協調的ナビゲーションタスクにおいて競合する学習アルゴリズムを過大に活用できることがわかった。
関連論文リスト
- Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。
動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
論文 参考訳(メタデータ) (2024-03-11T09:21:11Z) - Learning to Cooperate and Communicate Over Imperfect Channels [27.241873614561538]
本稿では,エージェントが限定的かつ信頼性の低いチャネルを用いて,情報を分散的に処理・交換する協調型マルチエージェントシステムについて考察する。
提案手法では,異なる大きさのメッセージを送信することで,共有する情報の量に動的に適応することができる。
本手法は,新しい協調型桁予測環境において適応性のない手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-24T12:15:48Z) - Multi-agent Communication with Graph Information Bottleneck under
Limited Bandwidth (a position paper) [92.11330289225981]
多くの実世界のシナリオでは、通信は高価であり、マルチエージェントシステムの帯域幅には一定の制約がある。
通信資源を占有する冗長なメッセージは、情報的メッセージの送信をブロックし、パフォーマンスを損なう。
本稿では,通信グラフ内の構造情報とノード情報を効果的に圧縮し,帯域幅に制約のある設定に対処する,新しいマルチエージェント通信モジュールCommGIBを提案する。
論文 参考訳(メタデータ) (2021-12-20T07:53:44Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳(メタデータ) (2021-12-03T19:23:48Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳(メタデータ) (2020-10-06T16:51:09Z) - The Emergence of Adversarial Communication in Multi-Agent Reinforcement
Learning [6.18778092044887]
多くの現実世界の問題は、複数の自律エージェントの調整を必要とする。
最近の研究は、複雑なマルチエージェント協調を可能にする明示的なコミュニケーション戦略を学ぶためのグラフニューラルネットワーク(GNN)の約束を示している。
一つの利己的なエージェントが高度に操作的なコミュニケーション戦略を学習し、協調的なエージェントチームを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2020-08-06T12:48:08Z) - Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。
先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。
I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2020-06-11T14:07:57Z) - Networked Multi-Agent Reinforcement Learning with Emergent Communication [18.47483427884452]
MARL(Multi-Agent Reinforcement Learning)法は,他の学習エージェントの存在下で活動するエージェントに対して最適なポリシーを求める。
コーディネートするひとつの方法は、相互通信を学ぶことです。
エージェントは共通のタスクを実行するために学習しながら言語を開発することができるか?
論文 参考訳(メタデータ) (2020-04-06T16:13:23Z) - Counterfactual Multi-Agent Reinforcement Learning with Graph Convolution
Communication [5.5438676149999075]
本稿では,エージェントが協調してシステムの有用性を最大化する,完全協調型マルチエージェントシステムについて考察する。
マルチエージェントシステムには,エージェント間の相互作用を伝達し,理解する能力が必要である。
エージェント間の通信を可能にするアーキテクチャを開発し,各エージェントに対するシステム報酬を調整する。
論文 参考訳(メタデータ) (2020-04-01T14:36:13Z) - Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。
本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-11T07:19:45Z) - Multi-Agent Interactions Modeling with Correlated Policies [53.38338964628494]
本稿では,マルチエージェントインタラクションモデリング問題をマルチエージェント模倣学習フレームワークに実装する。
相関ポリシー(CoDAIL)を用いた分散型適応模倣学習アルゴリズムの開発
様々な実験により、CoDAILはデモレーターに近い複雑な相互作用をより良く再生できることが示されている。
論文 参考訳(メタデータ) (2020-01-04T17:31:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。