論文の概要: Learning Structured Communication for Multi-agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2002.04235v1
- Date: Tue, 11 Feb 2020 07:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 01:29:03.253053
- Title: Learning Structured Communication for Multi-agent Reinforcement Learning
- Title(参考訳): マルチエージェント強化学習のための構造化通信学習
- Authors: Junjie Sheng, Xiangfeng Wang, Bo Jin, Junchi Yan, Wenhao Li, Tsung-Hui
Chang, Jun Wang, Hongyuan Zha
- Abstract要約: 本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。
本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 104.64584573546524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work explores the large-scale multi-agent communication mechanism under
a multi-agent reinforcement learning (MARL) setting. We summarize the general
categories of topology for communication structures in MARL literature, which
are often manually specified. Then we propose a novel framework termed as
Learning Structured Communication (LSC) by using a more flexible and efficient
communication topology. Our framework allows for adaptive agent grouping to
form different hierarchical formations over episodes, which is generated by an
auxiliary task combined with a hierarchical routing protocol. Given each formed
topology, a hierarchical graph neural network is learned to enable effective
message information generation and propagation among inter- and intra-group
communications. In contrast to existing communication mechanisms, our method
has an explicit while learnable design for hierarchical communication.
Experiments on challenging tasks show the proposed LSC enjoys high
communication efficiency, scalability, and global cooperation capability.
- Abstract(参考訳): 本稿では,マルチエージェント強化学習(marl)環境下での大規模マルチエージェント通信機構について検討する。
本稿では,MARL文献における通信構造に関する一般的なトポロジの分類を要約する。
そこで我々は,より柔軟で効率的な通信トポロジを用いて,LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
本フレームワークにより,アダプティブエージェントのグルーピングは,階層型ルーティングプロトコルと組み合わせた補助タスクによって生成されるエピソード上で,異なる階層構造を形成することができる。
生成したトポロジが与えられたら、階層グラフニューラルネットワークが学習され、グループ間およびグループ間通信間の効果的なメッセージ情報生成と伝搬が可能となる。
既存の通信機構とは対照的に,本手法は階層型通信のための明示的かつ学習可能な設計である。
課題実験により,提案するlscは高い通信効率,スケーラビリティ,グローバル協調能力を有することが示された。
関連論文リスト
- Will 6G be Semantic Communications? Opportunities and Challenges from
Task Oriented and Secure Communications to Integrated Sensing [49.83882366499547]
本稿では,マルチタスク学習を統合した次世代(NextG)ネットワークにおけるタスク指向およびセマンティックコミュニケーションの機会と課題について検討する。
我々は、送信側の専用エンコーダと受信側の複数のタスク固有のデコーダを表すディープニューラルネットワークを用いる。
トレーニングとテストの段階において、敵対的攻撃に起因する潜在的な脆弱性を精査する。
論文 参考訳(メタデータ) (2024-01-03T04:01:20Z) - Learning Hierarchical Prompt with Structured Linguistic Knowledge for
Vision-Language Models [43.56153167864033]
大規模言語モデル(LLM)における構造化知識を活用する新しい手法を提案する。
低レベルの即時学習のためのエンティティと属性間のペアワイズ関連をキャプチャする、関係誘導型アテンションモジュールを導入する。
さらに、高レベルのプロンプトとグローバルレベルのプロンプトを組み込むことで、提案された階層構造は、クロスレベルのインターリンクを偽造し、より複雑で長期的な関係を扱うようにモデルに権限を与える。
論文 参考訳(メタデータ) (2023-12-11T12:14:06Z) - Multi-Agent Reinforcement Learning Based on Representational
Communication for Large-Scale Traffic Signal Control [13.844458247041711]
交通信号制御(TSC)は、インテリジェント交通システムにおいて難しい問題である。
大規模TSCのための通信ベースのMARLフレームワークを提案する。
私たちのフレームワークでは、各エージェントがメッセージのどの部分を誰に"送信"するかを指示する通信ポリシーを学習することができます。
論文 参考訳(メタデータ) (2023-10-03T21:06:51Z) - A Survey of Multi-Agent Reinforcement Learning with Communication [1.7820563504030822]
コミュニケーションは、複数のエージェントの振舞いを調整する効果的なメカニズムである。
既存のComm-MARLシステムを区別し分類するための体系的かつ構造的なアプローチが欠如している。
論文 参考訳(メタデータ) (2022-03-16T22:39:46Z) - FCMNet: Full Communication Memory Net for Team-Level Cooperation in
Multi-Agent Systems [15.631744703803806]
我々は、エージェントが効果的なマルチホップ通信プロトコルを同時に学習できる強化学習ベースのアプローチであるFCMNetを紹介する。
単純なマルチホップトポロジを用いて、各エージェントに各ステップで他のエージェントが逐次エンコードした情報を受信する能力を与える。
FCMNetは、すべてのStarCraft IIマイクロマネジメントタスクにおいて、最先端のコミュニケーションベースの強化学習方法より優れている。
論文 参考訳(メタデータ) (2022-01-28T09:12:01Z) - Multi-agent Communication with Graph Information Bottleneck under
Limited Bandwidth (a position paper) [92.11330289225981]
多くの実世界のシナリオでは、通信は高価であり、マルチエージェントシステムの帯域幅には一定の制約がある。
通信資源を占有する冗長なメッセージは、情報的メッセージの送信をブロックし、パフォーマンスを損なう。
本稿では,通信グラフ内の構造情報とノード情報を効果的に圧縮し,帯域幅に制約のある設定に対処する,新しいマルチエージェント通信モジュールCommGIBを提案する。
論文 参考訳(メタデータ) (2021-12-20T07:53:44Z) - Coordination Among Neural Modules Through a Shared Global Workspace [78.08062292790109]
認知科学において、機能的に特殊なコンポーネントが情報を共有するグローバルなワークスペースアーキテクチャが提案されている。
キャパシティ制限は、特殊化と構成性を奨励する合理的な基礎を持つことを示す。
論文 参考訳(メタデータ) (2021-03-01T18:43:48Z) - Effective Communications: A Joint Learning and Communication Framework
for Multi-Agent Reinforcement Learning over Noisy Channels [0.0]
コミュニケーションにおける「有効性問題」の新しい定式化を提案する。
コーディネーションと協調性を向上するために,複数のエージェントがノイズの多いチャネル上で通信することを検討する。
提案した枠組みを用いて学習した共同方針が,コミュニケーションが別々に考慮される場合よりも優れていることを例に示します。
論文 参考訳(メタデータ) (2021-01-02T10:43:41Z) - A Tutorial on Ultra-Reliable and Low-Latency Communications in 6G:
Integrating Domain Knowledge into Deep Learning [115.75967665222635]
超信頼性・低レイテンシ通信(URLLC)は、様々な新しいミッションクリティカルなアプリケーションの開発の中心となる。
ディープラーニングアルゴリズムは、将来の6GネットワークでURLLCを実現する技術を開発するための有望な方法と考えられている。
このチュートリアルでは、URLLCのさまざまなディープラーニングアルゴリズムにドメイン知識を組み込む方法について説明する。
論文 参考訳(メタデータ) (2020-09-13T14:53:01Z) - Communication-Efficient and Distributed Learning Over Wireless Networks:
Principles and Applications [55.65768284748698]
機械学習(ML)は、第5世代(5G)通信システムなどのための有望なイネーブルである。
本稿では、関連するコミュニケーションとMLの原則を概観し、選択したユースケースでコミュニケーション効率と分散学習フレームワークを提示することを目的とする。
論文 参考訳(メタデータ) (2020-08-06T12:37:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。