論文の概要: From Explicit Communication to Tacit Cooperation:A Novel Paradigm for Cooperative MARL

• arxiv url: http://arxiv.org/abs/2304.14656v1
• Date: Fri, 28 Apr 2023 06:56:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 15:06:06.573271
• Title: From Explicit Communication to Tacit Cooperation:A Novel Paradigm for Cooperative MARL
• Title（参考訳）: 明示的なコミュニケーションから暗黙的な協調へ:MARLの新しいパラダイム
• Authors: Dapeng Li, Zhiwei Xu, Bin Zhang, Guoliang Fan
• Abstract要約: 本稿では,明示的なコミュニケーションから暗黙的な協調への段階的なシフトを促進する新しいパラダイムを提案する。 初期訓練段階では,エージェント間で関連情報を共有することで協力を促進する。 次に、明示的に伝達された情報と再構成された情報を組み合わせて混合情報を得る。
• 参考スコア（独自算出の注目度）: 14.935456456463731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Centralized training with decentralized execution (CTDE) is a widely-used learning paradigm that has achieved significant success in complex tasks. However, partial observability issues and the absence of effectively shared signals between agents often limit its effectiveness in fostering cooperation. While communication can address this challenge, it simultaneously reduces the algorithm's practicality. Drawing inspiration from human team cooperative learning, we propose a novel paradigm that facilitates a gradual shift from explicit communication to tacit cooperation. In the initial training stage, we promote cooperation by sharing relevant information among agents and concurrently reconstructing this information using each agent's local trajectory. We then combine the explicitly communicated information with the reconstructed information to obtain mixed information. Throughout the training process, we progressively reduce the proportion of explicitly communicated information, facilitating a seamless transition to fully decentralized execution without communication. Experimental results in various scenarios demonstrate that the performance of our method without communication can approaches or even surpasses that of QMIX and communication-based methods.
• Abstract（参考訳）: 分散実行による集中学習(CTDE)は、複雑なタスクにおいて大きな成功を収めた広く使われている学習パラダイムである。 しかしながら、部分的な可観測性の問題とエージェント間の効果的な共有信号の欠如は、しばしば協力を促進する効果を制限する。 コミュニケーションはこの課題に対処できるが、同時にアルゴリズムの実用性を低下させる。 人間のチームによる協調学習からインスピレーションを得て,明示的なコミュニケーションから暗黙的な協調へと徐々に移行していく新しいパラダイムを提案する。 初期訓練段階では,エージェント間で関連情報を共有し,各エージェントの局所軌跡を用いて情報を同時に再構築することで協力を促進する。 次に, 明示的に伝達された情報を再構成した情報と組み合わせ, 混合情報を得る。 トレーニングプロセスを通じて、明示的に伝達された情報の比率を段階的に削減し、コミュニケーションなしで完全に分散化された実行へシームレスに移行する。 様々なシナリオにおける実験結果から,通信のない手法の性能がQMIXや通信方式の手法に近づいたり,超えたりできることが示された。

関連論文リスト

• Communication Learning in Multi-Agent Systems from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 本稿では,各エージェントに対して時間的ゲーティング機構を導入し,ある時間に共有情報を受信するかどうかの動的決定を可能にする。
  論文  参考訳（メタデータ） (2024-11-01T05:56:51Z)
• Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
  分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。 動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
  論文  参考訳（メタデータ） (2024-03-11T09:21:11Z)
• T2MAC: Targeted and Trusted Multi-Agent Communication through Selective Engagement and Evidence-Driven Integration [15.91335141803629]
  我々は、エージェントが選択的なエンゲージメントとエビデンス駆動の統合を学ぶのを助けるために、T2MAC(Targeted and Trusted Multi-Agent Communication)を提案する。 T2MACは、エージェントが個別化されたメッセージを作成し、理想的なコミュニケーションウィンドウをピンポイントし、信頼できるパートナーと対話することを可能にする。 本手法は,様々な課題を伴って,多様な協調型マルチエージェントタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2024-01-19T18:00:33Z)
• Learning Multi-Agent Communication with Contrastive Learning [3.816854668079928]
  本稿では,コミュニケーション的メッセージが環境状態の異なる不完全なビューと見なされる,別の視点を紹介する。 送信したメッセージと受信したメッセージの関係を調べることで,コントラスト学習を用いてコミュニケーションを学ぶことを提案する。 通信環境において,本手法は性能と学習速度の両面で,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-03T23:51:05Z)
• Interruption-Aware Cooperative Perception for V2X Communication-Aided Autonomous Driving [49.42873226593071]
  本稿では,V2X通信支援自律運転のためのV2X通信入出力対応協調知覚(V2X-INCOP)を提案する。 我々は、過去の協力情報を用いて、割り込みによる行方不明情報を復元し、割り込み問題の影響を軽減する。 3つの公的な協調認識データセットの実験から,コミュニケーション中断が協調知覚に与える影響を緩和するために提案手法が有効であることが示された。
  論文  参考訳（メタデータ） (2023-04-24T04:59:13Z)
• On the Role of Emergent Communication for Social Learning in Multi-Agent Reinforcement Learning [0.0]
  社会学習は、専門家からのヒントを使って、異質なポリシーを整列し、サンプルの複雑さを減らし、部分的に観察可能なタスクを解決する。 本稿では,情報ボトルネックに基づく教師なし手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T03:23:27Z)
• Over-communicate no more: Situated RL agents learn concise communication protocols [78.28898217947467]
  互いに効果的に効率的にコミュニケーションできる人工エージェントをいかに設計するかは、不明である。 強化学習(RL)を用いたコミュニケーションの出現に関する研究 エージェントがコミュニケーションを行うための環境行為を強制しなければならない多段階タスクにおける位置的コミュニケーションについて検討する。 テストされたすべてのプレッシャーは過剰なコミュニケーションを阻害する可能性があるが、位置通信は最も効果的であり、努力のコストとは異なり、発生に悪影響を及ぼさない。
  論文  参考訳（メタデータ） (2022-11-02T21:08:14Z)
• Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation [15.411902255359074]
  定常的な通信予算を一定に保っても,ほぼ最適に学習できることを示す。 私たちの仕事は、マルチエージェントコンテキストとマルチアームバンディット文学からMDP、強化学習まで、いくつかのアイデアを一般化します。
  論文  参考訳（メタデータ） (2021-03-08T18:51:00Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent Populations [59.608216900601384]
  本研究では,3次元環境下で関節を作動させることでコミュニケーションを学ぶエージェントについて検討する。 現実的な仮定、意図の非一様分布、共通知識エネルギーコストにおいて、これらのエージェントは新規パートナーに一般化するプロトコルを見つけることができることを示す。
  論文  参考訳（メタデータ） (2020-10-29T19:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。