論文の概要: Universally Expressive Communication in Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2206.06758v1
• Date: Tue, 14 Jun 2022 11:16:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 21:57:01.103621
• Title: Universally Expressive Communication in Multi-Agent Reinforcement Learning
• Title（参考訳）: 多エージェント強化学習における普遍表現型コミュニケーション
• Authors: Matthew Morris, Thomas D. Barrett, Arnu Pretorius
• Abstract要約: 与えられた通信プロトコルが任意のポリシーを表現できるかどうかという問題を考察する。 標準のGNNアプローチは表現能力に十分制限されているため,(1)一意なエージェントIDと(2)ランダムノイズによるエージェント観察の増強を検討する。 我々は,これらの手法が普遍的に表現力のあるコミュニケーションをいかに生み出すかの理論分析を行い,同一のエージェントに対する任意の行動群を対象とすることができることを証明した。
• 参考スコア（独自算出の注目度）: 6.086083595135936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Allowing agents to share information through communication is crucial for solving complex tasks in multi-agent reinforcement learning. In this work, we consider the question of whether a given communication protocol can express an arbitrary policy. By observing that many existing protocols can be viewed as instances of graph neural networks (GNNs), we demonstrate the equivalence of joint action selection to node labelling. With standard GNN approaches provably limited in their expressive capacity, we draw from existing GNN literature and consider augmenting agent observations with: (1) unique agent IDs and (2) random noise. We provide a theoretical analysis as to how these approaches yield universally expressive communication, and also prove them capable of targeting arbitrary sets of actions for identical agents. Empirically, these augmentations are found to improve performance on tasks where expressive communication is required, whilst, in general, the optimal communication protocol is found to be task-dependent.
• Abstract（参考訳）: エージェントがコミュニケーションを通じて情報を共有することは、マルチエージェント強化学習における複雑なタスクの解決に不可欠である。 本稿では、与えられた通信プロトコルが任意のポリシーを表現できるかどうかという問題を考える。 既存の多くのプロトコルをグラフニューラルネットワーク(GNN)のインスタンスと見なすことで、ノードラベル付けに対する共同行動選択の等価性を実証する。 標準のGNNアプローチは、表現能力に十分制限されているため、既存のGNN文献から引用し、(1)ユニークなエージェントIDと(2)ランダムノイズを用いたエージェントの観察を検討する。 我々は,これらの手法が普遍的に表現力のあるコミュニケーションをいかに生み出すかの理論分析を行い,同一エージェントに対する任意の行動群を対象とすることができることを証明した。 経験上、これらの拡張は、表現力のあるコミュニケーションが必要なタスクのパフォーマンスを向上させることが示され、一方、一般的には、最適な通信プロトコルはタスクに依存します。

関連論文リスト

• Communication Learning in Multi-Agent Systems from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 本稿では,各エージェントに対して時間的ゲーティング機構を導入し,ある時間に共有情報を受信するかどうかの動的決定を可能にする。
  論文  参考訳（メタデータ） (2024-11-01T05:56:51Z)
• DCMAC: Demand-aware Customized Multi-Agent Communication via Upper Bound Training [9.068971933560416]
  本稿では,アッパーバウンドトレーニングを用いて理想的なポリシを得る,要求対応のカスタマイズ型マルチエージェント通信プロトコルを提案する。 実験結果から,DCMACは,制約のない,通信制約のないシナリオにおいて,ベースラインアルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2024-09-11T09:23:27Z)
• Learning Multi-Agent Communication from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 提案手法であるCommFormerは,通信グラフを効率よく最適化し,勾配降下によるアーキテクチャパラメータをエンドツーエンドで並列に洗練する。
  論文  参考訳（メタデータ） (2024-05-14T12:40:25Z)
• Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
  本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。 本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。 設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-04-10T13:24:27Z)
• Pragmatic Communication in Multi-Agent Collaborative Perception [80.14322755297788]
  協調的な知覚は、知覚能力とコミュニケーションコストのトレードオフをもたらす。 PragCommは2つの重要なコンポーネントを持つマルチエージェント協調認識システムである。 PragCommは、32.7K以上の通信量で従来手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2024-01-23T11:58:08Z)
• On the Role of Emergent Communication for Social Learning in Multi-Agent Reinforcement Learning [0.0]
  社会学習は、専門家からのヒントを使って、異質なポリシーを整列し、サンプルの複雑さを減らし、部分的に観察可能なタスクを解決する。 本稿では,情報ボトルネックに基づく教師なし手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T03:23:27Z)
• Emergent Quantized Communication [34.31732248872158]
  本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。 メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2022-11-04T12:39:45Z)
• Quasi-Equivalence Discovery for Zero-Shot Emergent Communication [63.175848843466845]
  ゼロショットコーディネーション(ZSC)を実現するための新しい問題設定と準等価探索アルゴリズムを提案する。 これらの2つの要因が参照ゲームにおいて一意に最適なZSCポリシーをもたらすことを示す。 QEDはこの設定における対称性を反復的に発見することができ、最適なZSCポリシーに収束する。
  論文  参考訳（メタデータ） (2021-03-14T23:42:37Z)
• Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent Populations [59.608216900601384]
  本研究では,3次元環境下で関節を作動させることでコミュニケーションを学ぶエージェントについて検討する。 現実的な仮定、意図の非一様分布、共通知識エネルギーコストにおいて、これらのエージェントは新規パートナーに一般化するプロトコルを見つけることができることを示す。
  論文  参考訳（メタデータ） (2020-10-29T19:23:10Z)
• Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
  我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。 先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。 I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2020-06-11T14:07:57Z)
• Learning Multi-Agent Coordination through Connectivity-driven Communication [7.462336024223669]
  人工マルチエージェントシステムでは、エージェントのコミュニケーションスキルに基づいて協調的なポリシーを学習することができる。 我々は、深い強化学習アプローチであるコネクティビティ駆動通信(CDC)を提案する。 CDCは効果的な協調政策を学習でき、協調ナビゲーションタスクにおいて競合する学習アルゴリズムをオーバーパフォーマンスさせることができる。
  論文  参考訳（メタデータ） (2020-02-12T20:58:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。