論文の概要: Effective Communications: A Joint Learning and Communication Framework
for Multi-Agent Reinforcement Learning over Noisy Channels
- arxiv url: http://arxiv.org/abs/2101.10369v2
- Date: Thu, 1 Apr 2021 17:30:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 10:06:19.617429
- Title: Effective Communications: A Joint Learning and Communication Framework
for Multi-Agent Reinforcement Learning over Noisy Channels
- Title（参考訳）: 効果的なコミュニケーション: 雑音チャネル上でのマルチエージェント強化学習のための共同学習・コミュニケーションフレームワーク
- Authors: Tze-Yang Tung, Szymon Kobus, Joan Roig Pujol, Deniz Gunduz
- Abstract要約: コミュニケーションにおける「有効性問題」の新しい定式化を提案する。
コーディネーションと協調性を向上するために,複数のエージェントがノイズの多いチャネル上で通信することを検討する。
提案した枠組みを用いて学習した共同方針が,コミュニケーションが別々に考慮される場合よりも優れていることを例に示します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel formulation of the "effectiveness problem" in
communications, put forth by Shannon and Weaver in their seminal work [2], by
considering multiple agents communicating over a noisy channel in order to
achieve better coordination and cooperation in a multi-agent reinforcement
learning (MARL) framework. Specifically, we consider a multi-agent partially
observable Markov decision process (MA-POMDP), in which the agents, in addition
to interacting with the environment can also communicate with each other over a
noisy communication channel. The noisy communication channel is considered
explicitly as part of the dynamics of the environment and the message each
agent sends is part of the action that the agent can take. As a result, the
agents learn not only to collaborate with each other but also to communicate
"effectively" over a noisy channel. This framework generalizes both the
traditional communication problem, where the main goal is to convey a message
reliably over a noisy channel, and the "learning to communicate" framework that
has received recent attention in the MARL literature, where the underlying
communication channels are assumed to be error-free. We show via examples that
the joint policy learned using the proposed framework is superior to that where
the communication is considered separately from the underlying MA-POMDP. This
is a very powerful framework, which has many real world applications, from
autonomous vehicle planning to drone swarm control, and opens up the rich
toolbox of deep reinforcement learning for the design of multi-user
communication systems.
- Abstract（参考訳）: マルチエージェント強化学習(MARL)フレームワークにおける協調と協調を向上するために,複数のエージェントがノイズチャネル上で通信することを考慮し,シャノンとウィーバーがセミナーで行ったコミュニケーションにおける「有効性問題」の新たな定式化について提案する。
具体的には,マルチエージェントによる部分的に観測可能なマルコフ決定プロセス (MA-POMDP) について考察する。
ノイズの多い通信チャネルは、環境のダイナミクスの一部として明示的に考慮され、各エージェントが送信するメッセージは、エージェントが取り得るアクションの一部である。
その結果、エージェントは互いに協力することだけでなく、ノイズの多いチャンネル上で「効果的に」コミュニケーションすることを学ぶ。
このフレームワークは、ノイズの多いチャネル上で確実にメッセージを伝達することを目的としている従来のコミュニケーション問題と、基礎となる通信チャネルがエラーフリーであると仮定されたmarl文献で最近注目を集めている"コミュニケーションを学ぶための学習"フレームワークの両方を一般化している。
提案手法を用いて学習した共同政策は,基礎となるMA-POMDPとは別途考慮されているものよりも優れていることを示す。
これは非常に強力なフレームワークであり、自動運転車計画からドローン群制御まで、多くの現実世界の応用があり、マルチユーザー通信システムの設計のための深層強化学習の豊富なツールボックスを開く。
関連論文リスト
- Will 6G be Semantic Communications? Opportunities and Challenges from
Task Oriented and Secure Communications to Integrated Sensing [49.83882366499547]
本稿では,マルチタスク学習を統合した次世代(NextG)ネットワークにおけるタスク指向およびセマンティックコミュニケーションの機会と課題について検討する。
我々は、送信側の専用エンコーダと受信側の複数のタスク固有のデコーダを表すディープニューラルネットワークを用いる。
トレーニングとテストの段階において、敵対的攻撃に起因する潜在的な脆弱性を精査する。
論文 参考訳（メタデータ） (2024-01-03T04:01:20Z) - Multi-Agent Reinforcement Learning Based on Representational
Communication for Large-Scale Traffic Signal Control [13.844458247041711]
交通信号制御(TSC)は、インテリジェント交通システムにおいて難しい問題である。
大規模TSCのための通信ベースのMARLフレームワークを提案する。
私たちのフレームワークでは、各エージェントがメッセージのどの部分を誰に"送信"するかを指示する通信ポリシーを学習することができます。
論文 参考訳（メタデータ） (2023-10-03T21:06:51Z) - Over-communicate no more: Situated RL agents learn concise communication
protocols [78.28898217947467]
互いに効果的に効率的にコミュニケーションできる人工エージェントをいかに設計するかは、不明である。
強化学習(RL)を用いたコミュニケーションの出現に関する研究
エージェントがコミュニケーションを行うための環境行為を強制しなければならない多段階タスクにおける位置的コミュニケーションについて検討する。
テストされたすべてのプレッシャーは過剰なコミュニケーションを阻害する可能性があるが、位置通信は最も効果的であり、努力のコストとは異なり、発生に悪影響を及ぼさない。
論文 参考訳（メタデータ） (2022-11-02T21:08:14Z) - Coordinating Policies Among Multiple Agents via an Intelligent
Communication Channel [81.39444892747512]
MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。
本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
論文 参考訳（メタデータ） (2022-05-21T14:11:33Z) - Interpretation of Emergent Communication in Heterogeneous Collaborative
Embodied Agents [83.52684405389445]
本稿では,コラボレーティブな多目的ナビゲーションタスクCoMONを紹介する。
この課題において、オラクルエージェントは、地図の形式で詳細な環境情報を有する。
視覚的に環境を知覚するナビゲーターエージェントと通信し、目標のシーケンスを見つけるのが任務である。
創発的コミュニケーションはエージェントの観察と3次元環境の空間構造に基礎を置くことができることを示す。
論文 参考訳（メタデータ） (2021-10-12T06:56:11Z) - Learning Emergent Discrete Message Communication for Cooperative
Reinforcement Learning [36.468498804251574]
離散メッセージ通信は連続メッセージ通信に匹敵する性能を有することを示す。
エージェントに離散的なメッセージを対話的に送信できるアプローチを提案します。
論文 参考訳（メタデータ） (2021-02-24T20:44:14Z) - Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent
Populations [59.608216900601384]
本研究では,3次元環境下で関節を作動させることでコミュニケーションを学ぶエージェントについて検討する。
現実的な仮定、意図の非一様分布、共通知識エネルギーコストにおいて、これらのエージェントは新規パートナーに一般化するプロトコルを見つけることができることを示す。
論文 参考訳（メタデータ） (2020-10-29T19:23:10Z) - The Emergence of Adversarial Communication in Multi-Agent Reinforcement
Learning [6.18778092044887]
多くの現実世界の問題は、複数の自律エージェントの調整を必要とする。
最近の研究は、複雑なマルチエージェント協調を可能にする明示的なコミュニケーション戦略を学ぶためのグラフニューラルネットワーク(GNN)の約束を示している。
一つの利己的なエージェントが高度に操作的なコミュニケーション戦略を学習し、協調的なエージェントチームを大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2020-08-06T12:48:08Z) - Learning to Communicate Using Counterfactual Reasoning [2.8110705488739676]
本稿では,Multi-agent counterfactual communication learning (MACC)法を提案する。
MACCは、通信エージェントの信用割当問題を克服するために、対実的推論に適応する。
実験の結果,MACCは粒子環境における4つのシナリオにおいて,最先端のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-06-12T14:02:04Z) - Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。
先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。
I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2020-06-11T14:07:57Z) - Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。
本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-11T07:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。