論文の概要: Networked Multi-Agent Reinforcement Learning with Emergent Communication
- arxiv url: http://arxiv.org/abs/2004.02780v2
- Date: Thu, 9 Apr 2020 04:14:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 07:21:50.346845
- Title: Networked Multi-Agent Reinforcement Learning with Emergent Communication
- Title（参考訳）: 創発的コミュニケーションを用いたネットワーク型マルチエージェント強化学習
- Authors: Shubham Gupta, Rishi Hazra, Ambedkar Dukkipati
- Abstract要約: MARL(Multi-Agent Reinforcement Learning)法は,他の学習エージェントの存在下で活動するエージェントに対して最適なポリシーを求める。
コーディネートするひとつの方法は、相互通信を学ぶことです。
エージェントは共通のタスクを実行するために学習しながら言語を開発することができるか?
- 参考スコア（独自算出の注目度）: 18.47483427884452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-Agent Reinforcement Learning (MARL) methods find optimal policies for
agents that operate in the presence of other learning agents. Central to
achieving this is how the agents coordinate. One way to coordinate is by
learning to communicate with each other. Can the agents develop a language
while learning to perform a common task? In this paper, we formulate and study
a MARL problem where cooperative agents are connected to each other via a fixed
underlying network. These agents can communicate along the edges of this
network by exchanging discrete symbols. However, the semantics of these symbols
are not predefined and, during training, the agents are required to develop a
language that helps them in accomplishing their goals. We propose a method for
training these agents using emergent communication. We demonstrate the
applicability of the proposed framework by applying it to the problem of
managing traffic controllers, where we achieve state-of-the-art performance as
compared to a number of strong baselines. More importantly, we perform a
detailed analysis of the emergent communication to show, for instance, that the
developed language is grounded and demonstrate its relationship with the
underlying network topology. To the best of our knowledge, this is the only
work that performs an in depth analysis of emergent communication in a
networked MARL setting while being applicable to a broad class of problems.
- Abstract（参考訳）: MARL(Multi-Agent Reinforcement Learning)法は,他の学習エージェントの存在下で活動するエージェントに対して最適なポリシーを求める。
これを実現する中心はエージェントの調整方法です。
コーディネートするひとつの方法は、相互通信を学ぶことです。
エージェントは共通のタスクを実行するために学習しながら、言語を開発できるだろうか?
本稿では,協調エージェントが固定基盤ネットワークを介して相互に接続されるmarl問題を定式化し,検討する。
これらのエージェントは、離散シンボルを交換することで、ネットワークの端に沿って通信することができる。
しかし、これらのシンボルのセマンティクスは事前に定義されておらず、訓練中、エージェントは目標を達成するのに役立つ言語を開発する必要がある。
本稿では,創発的コミュニケーションを用いたエージェントの訓練手法を提案する。
提案手法をトラヒックコントローラの管理問題に適用し,多数の強力なベースラインと比較して最先端の性能を実現することにより,提案手法の適用性を示す。
より重要なことは、例えば、開発された言語が基盤となるネットワークトポロジーとの関係を実証するために、創発的通信の詳細な分析を行うことである。
我々の知る限りでは、ネットワーク化されたMARL設定における創発的コミュニケーションの奥行き分析を行う上で、幅広い問題に適用できる唯一の方法である。
関連論文リスト
- Learning Multi-Agent Communication from Graph Modeling Perspective [62.13508281188895]
本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。
提案手法であるCommFormerは,通信グラフを効率よく最適化し,勾配降下によるアーキテクチャパラメータをエンドツーエンドで並列に洗練する。
論文 参考訳（メタデータ） (2024-05-14T12:40:25Z) - Verco: Learning Coordinated Verbal Communication for Multi-agent Reinforcement Learning [42.27106057372819]
本稿では,大規模言語モデルをエージェントに組み込むマルチエージェント強化学習アルゴリズムを提案する。
フレームワークにはメッセージモジュールとアクションモジュールがある。
オーバークッキングゲームで行った実験は,既存の手法の学習効率と性能を大幅に向上させることを示した。
論文 参考訳（メタデータ） (2024-04-27T05:10:33Z) - Fully Independent Communication in Multi-Agent Reinforcement Learning [4.470370168359807]
MARL(Multi-Agent Reinforcement Learning)は、マルチエージェントシステム分野における幅広い研究領域である。
パラメータを共有しないMARLの独立学習者がいかにコミュニケーションできるかを検討する。
この結果から, 独立エージェントは, 課題にも拘わらず, コミュニケーション戦略を学習できることが示唆された。
論文 参考訳（メタデータ） (2024-01-26T18:42:01Z) - Multi-Agent Reinforcement Learning Based on Representational
Communication for Large-Scale Traffic Signal Control [13.844458247041711]
交通信号制御(TSC)は、インテリジェント交通システムにおいて難しい問題である。
大規模TSCのための通信ベースのMARLフレームワークを提案する。
私たちのフレームワークでは、各エージェントがメッセージのどの部分を誰に"送信"するかを指示する通信ポリシーを学習することができます。
論文 参考訳（メタデータ） (2023-10-03T21:06:51Z) - Coordinating Policies Among Multiple Agents via an Intelligent
Communication Channel [81.39444892747512]
MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。
本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
論文 参考訳（メタデータ） (2022-05-21T14:11:33Z) - Interpretation of Emergent Communication in Heterogeneous Collaborative
Embodied Agents [83.52684405389445]
本稿では,コラボレーティブな多目的ナビゲーションタスクCoMONを紹介する。
この課題において、オラクルエージェントは、地図の形式で詳細な環境情報を有する。
視覚的に環境を知覚するナビゲーターエージェントと通信し、目標のシーケンスを見つけるのが任務である。
創発的コミュニケーションはエージェントの観察と3次元環境の空間構造に基礎を置くことができることを示す。
論文 参考訳（メタデータ） (2021-10-12T06:56:11Z) - Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent
Populations [59.608216900601384]
本研究では,3次元環境下で関節を作動させることでコミュニケーションを学ぶエージェントについて検討する。
現実的な仮定、意図の非一様分布、共通知識エネルギーコストにおいて、これらのエージェントは新規パートナーに一般化するプロトコルを見つけることができることを示す。
論文 参考訳（メタデータ） (2020-10-29T19:23:10Z) - The Emergence of Adversarial Communication in Multi-Agent Reinforcement
Learning [6.18778092044887]
多くの現実世界の問題は、複数の自律エージェントの調整を必要とする。
最近の研究は、複雑なマルチエージェント協調を可能にする明示的なコミュニケーション戦略を学ぶためのグラフニューラルネットワーク(GNN)の約束を示している。
一つの利己的なエージェントが高度に操作的なコミュニケーション戦略を学習し、協調的なエージェントチームを大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2020-08-06T12:48:08Z) - Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。
先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。
I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2020-06-11T14:07:57Z) - Learning to cooperate: Emergent communication in multi-agent navigation [49.11609702016523]
本稿では,協調ナビゲーションタスクを行うエージェントが,解釈可能な通信プロトコルを学ぶことを示す。
エージェントのポリシーの分析により、創発的信号が状態空間を空間的にクラスタリングすることが明らかになった。
エージェントの集団を用いて,創発的プロトコルは基本構成構造を持つことを示す。
論文 参考訳（メタデータ） (2020-04-02T16:03:17Z) - Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。
本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-11T07:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。