論文の概要: AC2C: Adaptively Controlled Two-Hop Communication for Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2302.12515v2
• Date: Tue, 23 May 2023 12:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 00:14:53.489427
• Title: AC2C: Adaptively Controlled Two-Hop Communication for Multi-Agent Reinforcement Learning
• Title（参考訳）: AC2C:マルチエージェント強化学習のための適応制御2ホップ通信
• Authors: Xuefeng Wang, Xinran Li, Jiawei Shao and Jun Zhang
• Abstract要約: 本稿では,AC2C(Adaptive Controlled Two-Hop Communication)と呼ばれる新しい通信プロトコルを提案する。 AC2Cは、エージェント間の長距離情報交換によるパフォーマンス向上を可能にするために、適応的な2ホップ通信戦略を採用している。 本稿では,3つの協調型マルチエージェントタスクにおけるAC2Cの評価を行った。
• 参考スコア（独自算出の注目度）: 4.884877440051105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning communication strategies in cooperative multi-agent reinforcement learning (MARL) has recently attracted intensive attention. Early studies typically assumed a fully-connected communication topology among agents, which induces high communication costs and may not be feasible. Some recent works have developed adaptive communication strategies to reduce communication overhead, but these methods cannot effectively obtain valuable information from agents that are beyond the communication range. In this paper, we consider a realistic communication model where each agent has a limited communication range, and the communication topology dynamically changes. To facilitate effective agent communication, we propose a novel communication protocol called Adaptively Controlled Two-Hop Communication (AC2C). After an initial local communication round, AC2C employs an adaptive two-hop communication strategy to enable long-range information exchange among agents to boost performance, which is implemented by a communication controller. This controller determines whether each agent should ask for two-hop messages and thus helps to reduce the communication overhead during distributed execution. We evaluate AC2C on three cooperative multi-agent tasks, and the experimental results show that it outperforms relevant baselines with lower communication costs.
• Abstract（参考訳）: 協調型マルチエージェント強化学習(MARL)における学習コミュニケーション戦略は近年注目されている。 初期の研究は通常、エージェント間で完全に接続された通信トポロジーを仮定し、高い通信コストを発生させ、実現不可能である可能性がある。 近年,コミュニケーションのオーバーヘッドを軽減するための適応的コミュニケーション戦略が開発されているが,これらの手法はコミュニケーション範囲を超えたエージェントから有効な情報を得ることはできない。 本稿では,各エージェントが限られた通信範囲を有し,通信トポロジが動的に変化する現実的な通信モデルを考える。 効果的なエージェント通信を容易にするために,適応制御型2ホップ通信(ac2c)と呼ばれる新しい通信プロトコルを提案する。 最初のローカル通信ラウンドの後、ac2cは適応型2ホップ通信戦略を採用し、エージェント間の長距離情報交換を可能にし、通信コントローラによって実装される性能を向上させる。 このコントローラは、各エージェントが2ホップメッセージを要求すべきかどうかを判断し、分散実行時の通信オーバーヘッドを低減するのに役立つ。 本稿では,3つの協調型マルチエージェントタスクにおけるAC2Cの評価を行った。

関連論文リスト

• Pragmatic Communication in Multi-Agent Collaborative Perception [80.14322755297788]
  協調的な知覚は、知覚能力とコミュニケーションコストのトレードオフをもたらす。 PragCommは2つの重要なコンポーネントを持つマルチエージェント協調認識システムである。 PragCommは、32.7K以上の通信量で従来手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2024-01-23T11:58:08Z)
• Context-aware Communication for Multi-agent Reinforcement Learning [6.109127175562235]
  マルチエージェント強化学習(MARL)のための文脈認識型コミュニケーション手法を開発した。 第1段階では、エージェントは放送方式で粗い表現を交換し、第2段階のコンテキストを提供する。 その後、エージェントは第2段階の注意機構を利用し、受信機用にパーソナライズされたメッセージを選択的に生成する。 CACOMの有効性を評価するため,アクタ批判型と値に基づくMARLアルゴリズムを併用する。
  論文  参考訳（メタデータ） (2023-12-25T03:33:08Z)
• Multi-Agent Reinforcement Learning Based on Representational Communication for Large-Scale Traffic Signal Control [13.844458247041711]
  交通信号制御(TSC)は、インテリジェント交通システムにおいて難しい問題である。 大規模TSCのための通信ベースのMARLフレームワークを提案する。 私たちのフレームワークでは、各エージェントがメッセージのどの部分を誰に"送信"するかを指示する通信ポリシーを学習することができます。
  論文  参考訳（メタデータ） (2023-10-03T21:06:51Z)
• Over-communicate no more: Situated RL agents learn concise communication protocols [78.28898217947467]
  互いに効果的に効率的にコミュニケーションできる人工エージェントをいかに設計するかは、不明である。 強化学習(RL)を用いたコミュニケーションの出現に関する研究 エージェントがコミュニケーションを行うための環境行為を強制しなければならない多段階タスクにおける位置的コミュニケーションについて検討する。 テストされたすべてのプレッシャーは過剰なコミュニケーションを阻害する可能性があるが、位置通信は最も効果的であり、努力のコストとは異なり、発生に悪影響を及ぼさない。
  論文  参考訳（メタデータ） (2022-11-02T21:08:14Z)
• Certifiably Robust Policy Learning against Adversarial Communication in Multi-agent Systems [51.6210785955659]
  多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。 しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。 本研究では,攻撃者が任意の$CfracN-12$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を検討する。
  論文  参考訳（メタデータ） (2022-06-21T07:32:18Z)
• Coordinating Policies Among Multiple Agents via an Intelligent Communication Channel [81.39444892747512]
  MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。 本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
  論文  参考訳（メタデータ） (2022-05-21T14:11:33Z)
• Interpretation of Emergent Communication in Heterogeneous Collaborative Embodied Agents [83.52684405389445]
  本稿では,コラボレーティブな多目的ナビゲーションタスクCoMONを紹介する。 この課題において、オラクルエージェントは、地図の形式で詳細な環境情報を有する。 視覚的に環境を知覚するナビゲーターエージェントと通信し、目標のシーケンスを見つけるのが任務である。 創発的コミュニケーションはエージェントの観察と3次元環境の空間構造に基礎を置くことができることを示す。
  論文  参考訳（メタデータ） (2021-10-12T06:56:11Z)
• Learning to Communicate Using Counterfactual Reasoning [2.8110705488739676]
  本稿では,Multi-agent counterfactual communication learning (MACC)法を提案する。 MACCは、通信エージェントの信用割当問題を克服するために、対実的推論に適応する。 実験の結果,MACCは粒子環境における4つのシナリオにおいて,最先端のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-06-12T14:02:04Z)
• Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
  我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。 先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。 I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2020-06-11T14:07:57Z)
• Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
  本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。 本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-11T07:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。