論文の概要: Universally Expressive Communication in Multi-Agent Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2206.06758v1
- Date: Tue, 14 Jun 2022 11:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-15 21:57:01.103621
- Title: Universally Expressive Communication in Multi-Agent Reinforcement
Learning
- Title(参考訳): 多エージェント強化学習における普遍表現型コミュニケーション
- Authors: Matthew Morris, Thomas D. Barrett, Arnu Pretorius
- Abstract要約: 与えられた通信プロトコルが任意のポリシーを表現できるかどうかという問題を考察する。
標準のGNNアプローチは表現能力に十分制限されているため,(1)一意なエージェントIDと(2)ランダムノイズによるエージェント観察の増強を検討する。
我々は,これらの手法が普遍的に表現力のあるコミュニケーションをいかに生み出すかの理論分析を行い,同一のエージェントに対する任意の行動群を対象とすることができることを証明した。
- 参考スコア(独自算出の注目度): 6.086083595135936
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Allowing agents to share information through communication is crucial for
solving complex tasks in multi-agent reinforcement learning. In this work, we
consider the question of whether a given communication protocol can express an
arbitrary policy. By observing that many existing protocols can be viewed as
instances of graph neural networks (GNNs), we demonstrate the equivalence of
joint action selection to node labelling. With standard GNN approaches provably
limited in their expressive capacity, we draw from existing GNN literature and
consider augmenting agent observations with: (1) unique agent IDs and (2)
random noise. We provide a theoretical analysis as to how these approaches
yield universally expressive communication, and also prove them capable of
targeting arbitrary sets of actions for identical agents. Empirically, these
augmentations are found to improve performance on tasks where expressive
communication is required, whilst, in general, the optimal communication
protocol is found to be task-dependent.
- Abstract(参考訳): エージェントがコミュニケーションを通じて情報を共有することは、マルチエージェント強化学習における複雑なタスクの解決に不可欠である。
本稿では、与えられた通信プロトコルが任意のポリシーを表現できるかどうかという問題を考える。
既存の多くのプロトコルをグラフニューラルネットワーク(GNN)のインスタンスと見なすことで、ノードラベル付けに対する共同行動選択の等価性を実証する。
標準のGNNアプローチは、表現能力に十分制限されているため、既存のGNN文献から引用し、(1)ユニークなエージェントIDと(2)ランダムノイズを用いたエージェントの観察を検討する。
我々は,これらの手法が普遍的に表現力のあるコミュニケーションをいかに生み出すかの理論分析を行い,同一エージェントに対する任意の行動群を対象とすることができることを証明した。
経験上、これらの拡張は、表現力のあるコミュニケーションが必要なタスクのパフォーマンスを向上させることが示され、一方、一般的には、最適な通信プロトコルはタスクに依存します。
関連論文リスト
- Pragmatic Communication in Multi-Agent Collaborative Perception [80.14322755297788]
協調的な知覚は、知覚能力とコミュニケーションコストのトレードオフをもたらす。
PragCommは2つの重要なコンポーネントを持つマルチエージェント協調認識システムである。
PragCommは、32.7K以上の通信量で従来手法より一貫して優れていた。
論文 参考訳(メタデータ) (2024-01-23T11:58:08Z) - On the Role of Emergent Communication for Social Learning in Multi-Agent
Reinforcement Learning [0.0]
社会学習は、専門家からのヒントを使って、異質なポリシーを整列し、サンプルの複雑さを減らし、部分的に観察可能なタスクを解決する。
本稿では,情報ボトルネックに基づく教師なし手法を提案する。
論文 参考訳(メタデータ) (2023-02-28T03:23:27Z) - Emergent Quantized Communication [34.31732248872158]
本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。
メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
論文 参考訳(メタデータ) (2022-11-04T12:39:45Z) - Multi-agent Communication with Graph Information Bottleneck under
Limited Bandwidth (a position paper) [92.11330289225981]
多くの実世界のシナリオでは、通信は高価であり、マルチエージェントシステムの帯域幅には一定の制約がある。
通信資源を占有する冗長なメッセージは、情報的メッセージの送信をブロックし、パフォーマンスを損なう。
本稿では,通信グラフ内の構造情報とノード情報を効果的に圧縮し,帯域幅に制約のある設定に対処する,新しいマルチエージェント通信モジュールCommGIBを提案する。
論文 参考訳(メタデータ) (2021-12-20T07:53:44Z) - Meta-CPR: Generalize to Unseen Large Number of Agents with Communication
Pattern Recognition Module [29.75594940509839]
エージェント数が異なるマルチエージェント環境をマルチタスク問題として定式化する。
本稿では,メタ強化学習(meta-RL)フレームワークを提案する。
提案フレームワークはメタ学習型通信パターン認識(CPR)モジュールを用いて通信の振る舞いを識別する。
論文 参考訳(メタデータ) (2021-12-14T08:23:04Z) - Quasi-Equivalence Discovery for Zero-Shot Emergent Communication [63.175848843466845]
ゼロショットコーディネーション(ZSC)を実現するための新しい問題設定と準等価探索アルゴリズムを提案する。
これらの2つの要因が参照ゲームにおいて一意に最適なZSCポリシーをもたらすことを示す。
QEDはこの設定における対称性を反復的に発見することができ、最適なZSCポリシーに収束する。
論文 参考訳(メタデータ) (2021-03-14T23:42:37Z) - Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent
Populations [59.608216900601384]
本研究では,3次元環境下で関節を作動させることでコミュニケーションを学ぶエージェントについて検討する。
現実的な仮定、意図の非一様分布、共通知識エネルギーコストにおいて、これらのエージェントは新規パートナーに一般化するプロトコルを見つけることができることを示す。
論文 参考訳(メタデータ) (2020-10-29T19:23:10Z) - Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。
先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。
I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2020-06-11T14:07:57Z) - Learning Multi-Agent Coordination through Connectivity-driven
Communication [7.462336024223669]
人工マルチエージェントシステムでは、エージェントのコミュニケーションスキルに基づいて協調的なポリシーを学習することができる。
我々は、深い強化学習アプローチであるコネクティビティ駆動通信(CDC)を提案する。
CDCは効果的な協調政策を学習でき、協調ナビゲーションタスクにおいて競合する学習アルゴリズムをオーバーパフォーマンスさせることができる。
論文 参考訳(メタデータ) (2020-02-12T20:58:33Z) - Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。
本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-11T07:19:45Z) - Emergence of Pragmatics from Referential Game between Theory of Mind
Agents [64.25696237463397]
エージェントが手書きのルールを指定せずに「行間を読む」能力を自発的に学習するアルゴリズムを提案する。
協調型マルチエージェント教育状況における心の理論(ToM)を統合し,適応型強化学習(RL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-01-21T19:37:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。