論文の概要: Deep Meta Coordination Graphs for Multi-agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2502.04028v1
• Date: Thu, 06 Feb 2025 12:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:31:56.643654
• Title: Deep Meta Coordination Graphs for Multi-agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習のためのDeep Meta Coordination Graphs
• Authors: Nikunj Gupta, James Zachary Hare, Rajgopal Kannan, Viktor Prasanna,
• Abstract要約: 多エージェント強化学習(MARL)における協調政策学習のための深層メタコーディネートグラフ(DMCG) DMCGは、エージェント間の高次および間接的な関係をキャプチャする。 その後、グラフ畳み込みネットワークモジュールを使用して、エンドツーエンドで強力な表現を学習する。
• 参考スコア（独自算出の注目度）: 2.650735171795961
• License:
• Abstract: This paper presents deep meta coordination graphs (DMCG) for learning cooperative policies in multi-agent reinforcement learning (MARL). Coordination graph formulations encode local interactions and accordingly factorize the joint value function of all agents to improve efficiency in MARL. However, existing approaches rely solely on pairwise relations between agents, which potentially oversimplifies complex multi-agent interactions. DMCG goes beyond these simple direct interactions by also capturing useful higher-order and indirect relationships among agents. It generates novel graph structures accommodating multiple types of interactions and arbitrary lengths of multi-hop connections in coordination graphs to model such interactions. It then employs a graph convolutional network module to learn powerful representations in an end-to-end manner. We demonstrate its effectiveness in multiple coordination problems in MARL where other state-of-the-art methods can suffer from sample inefficiency or fail entirely. All codes can be found here: https://github.com/Nikunj-Gupta/dmcg-marl.
• Abstract（参考訳）: 本稿では,多エージェント強化学習(MARL)における協調政策学習のための深層メタコーディネートグラフ(DMCG)を提案する。 座標グラフの定式化は局所的な相互作用を符号化し、MARLの効率を改善するために全てのエージェントの結合値関数を分解する。 しかし、既存のアプローチはエージェント間のペア関係にのみ依存しており、複雑なマルチエージェント相互作用を単純化する可能性がある。 DMCGはこれらの単純な直接相互作用を超えて、エージェント間の有用な高次および間接的な関係を捉える。 複数のタイプの相互作用と、そのような相互作用をモデル化するための協調グラフにおける多重ホップ接続の任意の長さを共役する新しいグラフ構造を生成する。 その後、グラフ畳み込みネットワークモジュールを使用して、エンドツーエンドで強力な表現を学習する。 我々は,MARLにおける複数の協調問題において,他の最先端手法がサンプル不効率に悩まされる場合や,完全に失敗する場合に,その効果を実証する。 すべてのコードは、https://github.com/Nikunj-Gupta/dmcg-marl.comで見ることができる。

関連論文リスト

• Communication Learning in Multi-Agent Systems from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 本稿では,各エージェントに対して時間的ゲーティング機構を導入し,ある時間に共有情報を受信するかどうかの動的決定を可能にする。
  論文  参考訳（メタデータ） (2024-11-01T05:56:51Z)
• Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
  大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。 神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
  論文  参考訳（メタデータ） (2024-06-11T11:02:04Z)
• Learning Multi-Agent Communication from Graph Modeling Perspective [62.13508281188895]
  本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。 提案手法であるCommFormerは,通信グラフを効率よく最適化し,勾配降下によるアーキテクチャパラメータをエンドツーエンドで並列に洗練する。
  論文  参考訳（メタデータ） (2024-05-14T12:40:25Z)
• Self-Clustering Hierarchical Multi-Agent Reinforcement Learning with Extensible Cooperation Graph [9.303181273699417]
  本稿では階層型協調グラフ学習(HCGL)と呼ばれる新しい階層型MARLモデルを提案する。 HCGLには3つのコンポーネントがある: 自己クラスタ化協調を実現する動的協調グラフ(ECG)、ECGのトポロジを調整するグラフ演算子のグループ、これらのグラフ演算子のトレーニングのためのMARL。 実験では, HCGLモデルは, スパース報酬を伴うマルチエージェントベンチマークにおいて, 優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-26T19:19:16Z)
• MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
  MADiffは拡散型マルチエージェント学習フレームワークである。 分散ポリシと集中型コントローラの両方として機能する。 実験の結果,MADiffは様々なマルチエージェント学習タスクにおいて,ベースラインアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-27T02:14:09Z)
• Unrolled Graph Learning for Multi-Agent Collaboration [37.239120967721156]
  人間のコラボレーションにインスパイアされた分散マルチエージェント学習モデルを提案する。 エージェントは、適切なコラボレータを自律的に検出し、より良いパフォーマンスを得るためにコラボレータのモデルを参照することができる。
  論文  参考訳（メタデータ） (2022-10-31T07:05:44Z)
• A Cooperation Graph Approach for Multiagent Sparse Reward Reinforcement Learning [7.2972297703292135]
  マルチエージェント強化学習(MARL)は複雑な協調作業を解くことができる。 本稿では、協調グラフ(CG)と呼ばれるグラフネットワークを設計する。 協調グラフマルチエージェント強化学習(CG-MARL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-05T06:32:16Z)
• Self-Organized Polynomial-Time Coordination Graphs [21.02670428540549]
  コーディネーショングラフは強化学習におけるモデルエージェント協調に対する有望なアプローチである。 このパラダイムの課題の1つは、グラフベースの値分解のための最大値アクションの計算の複雑さである。 本稿では,自己組織型多項式時間座標グラフ (SOP-CG) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-07T07:42:40Z)
• Cooperative Policy Learning with Pre-trained Heterogeneous Observation Representations [51.8796674904734]
  事前訓練された異種観察表現を用いた新たな協調学習フレームワークを提案する。 エンコーダ-デコーダに基づくグラフアテンションを用いて、複雑な相互作用と異種表現を学習する。
  論文  参考訳（メタデータ） (2020-12-24T04:52:29Z)
• Multi-Agent Interactions Modeling with Correlated Policies [53.38338964628494]
  本稿では,マルチエージェントインタラクションモデリング問題をマルチエージェント模倣学習フレームワークに実装する。 相関ポリシー(CoDAIL)を用いた分散型適応模倣学習アルゴリズムの開発 様々な実験により、CoDAILはデモレーターに近い複雑な相互作用をより良く再生できることが示されている。
  論文  参考訳（メタデータ） (2020-01-04T17:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。