論文の概要: Depthwise Convolution for Multi-Agent Communication with Enhanced Mean-Field Approximation

• arxiv url: http://arxiv.org/abs/2203.02896v1
• Date: Sun, 6 Mar 2022 07:42:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:17:48.203919
• Title: Depthwise Convolution for Multi-Agent Communication with Enhanced Mean-Field Approximation
• Title（参考訳）: 平均場近似によるマルチエージェント通信の奥行き畳み込み
• Authors: Donghan Xie, Zhi Wang, Chunlin Chen, Daoyi Dong
• Abstract要約: 本稿では,MARL(Multi-agent RL)課題に取り組むための,局所的なコミュニケーション学習に基づく新しい手法を提案する。 まず,局所的な関係を効率的に抽出する深層的畳み込み機能を利用する新しい通信プロトコルを設計する。 第2に,エージェント相互作用の規模を減らすために,平均場近似を導入する。
• 参考スコア（独自算出の注目度）: 9.854975702211165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent settings remain a fundamental challenge in the reinforcement learning (RL) domain due to the partial observability and the lack of accurate real-time interactions across agents. In this paper, we propose a new method based on local communication learning to tackle the multi-agent RL (MARL) challenge within a large number of agents coexisting. First, we design a new communication protocol that exploits the ability of depthwise convolution to efficiently extract local relations and learn local communication between neighboring agents. To facilitate multi-agent coordination, we explicitly learn the effect of joint actions by taking the policies of neighboring agents as inputs. Second, we introduce the mean-field approximation into our method to reduce the scale of agent interactions. To more effectively coordinate behaviors of neighboring agents, we enhance the mean-field approximation by a supervised policy rectification network (PRN) for rectifying real-time agent interactions and by a learnable compensation term for correcting the approximation bias. The proposed method enables efficient coordination as well as outperforms several baseline approaches on the adaptive traffic signal control (ATSC) task and the StarCraft II multi-agent challenge (SMAC).
• Abstract（参考訳）: マルチエージェント設定は、部分的可観測性とエージェント間の正確なリアルタイムインタラクションの欠如のため、強化学習(rl)ドメインにおける基本的な課題である。 本稿では,多数のエージェントが共存するマルチエージェントRL(MARL)課題に取り組むための,ローカル通信学習に基づく新しい手法を提案する。 まず,局所的関係を効率的に抽出し,近隣エージェント間の局所的コミュニケーションを学習する深層的畳み込み機能を利用する新しい通信プロトコルを設計する。 マルチエージェント協調を容易にするため,近隣エージェントのポリシーを入力として,共同行動の効果を明確に学習する。 第2に,エージェント相互作用の規模を減らすために,平均場近似を導入する。 隣接エージェントの挙動をより効果的にコーディネートするために,リアルタイムエージェントインタラクションを補正する教師付きポリシー整流ネットワーク(prn)と,近似バイアスを補正するための学習可能な補償項により平均場近似を強化する。 提案手法は,適応交通信号制御 (atsc) タスクや starcraft ii multi-agent challenge (smac) のベースラインアプローチに勝るとともに,効率的なコーディネーションを可能にする。

関連論文リスト

• Communication Learning in Multi-Agent Systems from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 本稿では,各エージェントに対して時間的ゲーティング機構を導入し,ある時間に共有情報を受信するかどうかの動的決定を可能にする。
  論文  参考訳（メタデータ） (2024-11-01T05:56:51Z)
• Decentralized Adaptive Formation via Consensus-Oriented Multi-Agent Communication [9.216867817261493]
  本稿では,Consensus-based Decentralized Adaptive Formation (Cons-DecAF) フレームワークを提案する。 具体的には、コンセンサス指向のマルチエージェント通信(ConsMAC)という新しいマルチエージェント強化学習手法を開発する。 エージェントの特定の位置を事前に割り当てる代わりに、Hausdorff 距離による変位に基づく生成を用いて、生成効率を著しく向上する。
  論文  参考訳（メタデータ） (2023-07-23T10:41:17Z)
• IPCC-TP: Utilizing Incremental Pearson Correlation Coefficient for Joint Multi-Agent Trajectory Prediction [73.25645602768158]
  IPCC-TPはインクリメンタルピアソン相関係数に基づく新しい関連認識モジュールであり,マルチエージェントインタラクションモデリングを改善する。 我々のモジュールは、既存のマルチエージェント予測手法に便利に組み込んで、元の動き分布デコーダを拡張することができる。
  論文  参考訳（メタデータ） (2023-03-01T15:16:56Z)
• Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation [13.670618752160594]
  深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。 従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。 効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-25T19:09:29Z)
• RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning [55.55009081609396]
  本稿では、アドホックな協調シナリオにおいてゼロショットの一般化を実現するRACA(Relation-Aware Credit Assignment)と呼ばれる新しい手法を提案する。 RACAは、エージェント間のトポロジ構造を符号化するために、グラフベースのエンコーダ関係を利用する。 提案手法は,StarCraftIIマイクロマネジメントベンチマークとアドホック協調シナリオのベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-02T03:39:27Z)
• Coordinating Policies Among Multiple Agents via an Intelligent Communication Channel [81.39444892747512]
  MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。 本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
  論文  参考訳（メタデータ） (2022-05-21T14:11:33Z)
• Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
  本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。 我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
  論文  参考訳（メタデータ） (2021-12-03T19:23:48Z)
• Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation [15.411902255359074]
  定常的な通信予算を一定に保っても,ほぼ最適に学習できることを示す。 私たちの仕事は、マルチエージェントコンテキストとマルチアームバンディット文学からMDP、強化学習まで、いくつかのアイデアを一般化します。
  論文  参考訳（メタデータ） (2021-03-08T18:51:00Z)
• Inference-Based Deterministic Messaging For Multi-Agent Communication [1.8275108630751844]
  行列に基づくシグナリングゲームにおける学習について検討し,分散化手法がサブオプティマティリティポリシに収束できることを示した。 次に、送信者が送信者の観察を推測するのを助ける最良のメッセージを決定的に選択するメッセージポリシーの修正を提案します。
  論文  参考訳（メタデータ） (2021-03-03T03:09:22Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)
• Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
  我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。 先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。 I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2020-06-11T14:07:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。