論文の概要: Exponential Topology-enabled Scalable Communication in Multi-agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2502.19717v1
• Date: Thu, 27 Feb 2025 03:15:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:54:18.441205
• Title: Exponential Topology-enabled Scalable Communication in Multi-agent Reinforcement Learning
• Title（参考訳）: 多エージェント強化学習における指数トポロジ対応スケーラブル通信
• Authors: Xinran Li, Xiaolu Wang, Chenjia Bai, Jun Zhang,
• Abstract要約: 協調型マルチエージェント強化学習(MARL)のためのスケーラブルな通信プロトコルを開発する。 本稿では,この指数的トポロジを利用して,その小径特性と小径特性を活用し,エージェント間の迅速な情報伝達を実現することを提案する。 MAgentやInfrastructure Management Planningといった大規模協調型ベンチマークの実験は、ExpoCommの優れた性能と堅牢なゼロショット転送性を示している。
• 参考スコア（独自算出の注目度）: 9.48183472865413
• License:
• Abstract: In cooperative multi-agent reinforcement learning (MARL), well-designed communication protocols can effectively facilitate consensus among agents, thereby enhancing task performance. Moreover, in large-scale multi-agent systems commonly found in real-world applications, effective communication plays an even more critical role due to the escalated challenge of partial observability compared to smaller-scale setups. In this work, we endeavor to develop a scalable communication protocol for MARL. Unlike previous methods that focus on selecting optimal pairwise communication links-a task that becomes increasingly complex as the number of agents grows-we adopt a global perspective on communication topology design. Specifically, we propose utilizing the exponential topology to enable rapid information dissemination among agents by leveraging its small-diameter and small-size properties. This approach leads to a scalable communication protocol, named ExpoComm. To fully unlock the potential of exponential graphs as communication topologies, we employ memory-based message processors and auxiliary tasks to ground messages, ensuring that they reflect global information and benefit decision-making. Extensive experiments on large-scale cooperative benchmarks, including MAgent and Infrastructure Management Planning, demonstrate the superior performance and robust zero-shot transferability of ExpoComm compared to existing communication strategies. The code is publicly available at https://github.com/LXXXXR/ExpoComm.
• Abstract（参考訳）: 協調型マルチエージェント強化学習(MARL)において、よく設計された通信プロトコルは、エージェント間のコンセンサスを効果的に促進し、タスク性能を向上させる。 さらに、実世界のアプリケーションで一般的に見られる大規模マルチエージェントシステムでは、小規模のセットアップに比べて部分観測可能性の増大により、効果的なコミュニケーションがさらに重要な役割を担っている。 本研究では,MARLのためのスケーラブルな通信プロトコルの開発に尽力する。 最適なペアワイズ通信リンクの選択に重点を置く従来の手法とは違って,エージェントの数が増加するにつれて,コミュニケーショントポロジ設計におけるグローバルな視点が採用されるようになる。 具体的には,この指数的トポロジを利用して,その小径・小径特性を活用し,エージェント間の迅速な情報伝達を実現することを提案する。 このアプローチは、ExpoCommという名前のスケーラブルな通信プロトコルにつながります。 通信トポロジとしての指数グラフの可能性を完全に解き明かすため,我々はメモリベースのメッセージプロセッサと補助タスクを採用し,グローバルな情報の反映と意思決定の恩恵を確実にする。 MAgentやInfrastructure Management Planningといった大規模協調型ベンチマークの大規模な実験は、既存の通信戦略と比較して、ExpoCommの優れた性能と堅牢なゼロショット転送性を実証している。 コードはhttps://github.com/LXXXXR/ExpoComm.comで公開されている。

関連論文リスト

• Communication Learning in Multi-Agent Systems from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 本稿では,各エージェントに対して時間的ゲーティング機構を導入し,ある時間に共有情報を受信するかどうかの動的決定を可能にする。
  論文  参考訳（メタデータ） (2024-11-01T05:56:51Z)
• Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
  大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。 神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
  論文  参考訳（メタデータ） (2024-06-11T11:02:04Z)
• Learning Multi-Agent Communication from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 提案手法であるCommFormerは,通信グラフを効率よく最適化し,勾配降下によるアーキテクチャパラメータをエンドツーエンドで並列に洗練する。
  論文  参考訳（メタデータ） (2024-05-14T12:40:25Z)
• Large Language Model Enhanced Multi-Agent Systems for 6G Communications [94.45712802626794]
  本稿では,自然言語を用いたコミュニケーション関連タスクを解くための,カスタマイズされたコミュニケーション知識とツールを備えたマルチエージェントシステムを提案する。 セマンティック通信システムの設計により,提案方式の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-13T02:35:57Z)
• Communication-Efficient Federated Optimization over Semi-Decentralized Networks [35.6514238987893]
  通信効率は、大規模ネットワークにおいて最も困難なボトルネックの1つである。 本稿では,エージェント間通信とエージェント間通信の両方を行う半分散通信プロトコルの通信効率について検討する。
  論文  参考訳（メタデータ） (2023-11-30T18:37:15Z)
• FCMNet: Full Communication Memory Net for Team-Level Cooperation in Multi-Agent Systems [15.631744703803806]
  我々は、エージェントが効果的なマルチホップ通信プロトコルを同時に学習できる強化学習ベースのアプローチであるFCMNetを紹介する。 単純なマルチホップトポロジを用いて、各エージェントに各ステップで他のエージェントが逐次エンコードした情報を受信する能力を与える。 FCMNetは、すべてのStarCraft IIマイクロマネジメントタスクにおいて、最先端のコミュニケーションベースの強化学習方法より優れている。
  論文  参考訳（メタデータ） (2022-01-28T09:12:01Z)
• Multi-agent Communication with Graph Information Bottleneck under Limited Bandwidth (a position paper) [92.11330289225981]
  多くの実世界のシナリオでは、通信は高価であり、マルチエージェントシステムの帯域幅には一定の制約がある。 通信資源を占有する冗長なメッセージは、情報的メッセージの送信をブロックし、パフォーマンスを損なう。 本稿では,通信グラフ内の構造情報とノード情報を効果的に圧縮し,帯域幅に制約のある設定に対処する,新しいマルチエージェント通信モジュールCommGIBを提案する。
  論文  参考訳（メタデータ） (2021-12-20T07:53:44Z)
• Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
  本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。 本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-11T07:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。