論文の概要: A Cooperation Graph Approach for Multiagent Sparse Reward Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2208.03002v1
• Date: Fri, 5 Aug 2022 06:32:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 12:24:07.073316
• Title: A Cooperation Graph Approach for Multiagent Sparse Reward Reinforcement Learning
• Title（参考訳）: マルチエージェントスパース強化学習のための協調グラフアプローチ
• Authors: Qingxu Fu, Tenghai Qiu, Zhiqiang Pu, Jianqiang Yi, Wanmai Yuan
• Abstract要約: マルチエージェント強化学習(MARL)は複雑な協調作業を解くことができる。 本稿では、協調グラフ(CG)と呼ばれるグラフネットワークを設計する。 協調グラフマルチエージェント強化学習(CG-MARL)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 7.2972297703292135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiagent reinforcement learning (MARL) can solve complex cooperative tasks. However, the efficiency of existing MARL methods relies heavily on well-defined reward functions. Multiagent tasks with sparse reward feedback are especially challenging not only because of the credit distribution problem, but also due to the low probability of obtaining positive reward feedback. In this paper, we design a graph network called Cooperation Graph (CG). The Cooperation Graph is the combination of two simple bipartite graphs, namely, the Agent Clustering subgraph (ACG) and the Cluster Designating subgraph (CDG). Next, based on this novel graph structure, we propose a Cooperation Graph Multiagent Reinforcement Learning (CG-MARL) algorithm, which can efficiently deal with the sparse reward problem in multiagent tasks. In CG-MARL, agents are directly controlled by the Cooperation Graph. And a policy neural network is trained to manipulate this Cooperation Graph, guiding agents to achieve cooperation in an implicit way. This hierarchical feature of CG-MARL provides space for customized cluster-actions, an extensible interface for introducing fundamental cooperation knowledge. In experiments, CG-MARL shows state-of-the-art performance in sparse reward multiagent benchmarks, including the anti-invasion interception task and the multi-cargo delivery task.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)は複雑な協調作業を解決する。 しかしながら、既存のmarlメソッドの効率性は、明確に定義された報酬関数に大きく依存する。 還元報酬フィードバックの少ないマルチエージェントタスクは、信用分布の問題だけでなく、肯定的な報酬フィードバックを得る可能性が低いため、特に困難である。 本稿では,協調グラフ (CG) と呼ばれるグラフネットワークを設計する。 協調グラフは、エージェントクラスタリングサブグラフ(acg)とクラスタ指定サブグラフ(cdg)の2つの単純な二部グラフの組み合わせである。 次に,この新しいグラフ構造に基づき,分散報酬問題に効率的に対処できる協調グラフマルチエージェント強化学習(cg-marl)アルゴリズムを提案する。 CG-MARLでは、エージェントはCooperation Graphによって直接制御される。 そして、ポリシーニューラルネットワークは、この協力グラフを操作するために訓練され、暗黙の方法で協力を達成するためのエージェントを導く。 このCG-MARLの階層的特徴は、基本的な協調知識を導入するための拡張可能なインターフェースであるカスタマイズされたクラスタアクションのための空間を提供する。 実験では、CG-MARLは、反侵入インターセプションタスクやマルチカーゴ配送タスクを含むスパース報酬マルチエージェントベンチマークにおける最先端性能を示す。

関連論文リスト

• Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
  大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。 神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
  論文  参考訳（メタデータ） (2024-06-11T11:02:04Z)
• Self-Clustering Hierarchical Multi-Agent Reinforcement Learning with Extensible Cooperation Graph [9.303181273699417]
  本稿では階層型協調グラフ学習(HCGL)と呼ばれる新しい階層型MARLモデルを提案する。 HCGLには3つのコンポーネントがある: 自己クラスタ化協調を実現する動的協調グラフ(ECG)、ECGのトポロジを調整するグラフ演算子のグループ、これらのグラフ演算子のトレーニングのためのMARL。 実験では, HCGLモデルは, スパース報酬を伴うマルチエージェントベンチマークにおいて, 優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-26T19:19:16Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• Learning Graph-Enhanced Commander-Executor for Multi-Agent Navigation [28.71585436726336]
  マルチエージェント強化学習(MARL)では,この問題の解決に有望な結果が得られた。 目標条件付き階層型強化学習(HRL)は、この課題に取り組むための有望な方向性を提供する。 マルチエージェントナビゲーションタスクのためのグラフベースのゴール条件階層手法であるMAGE-Xを提案する。
  論文  参考訳（メタデータ） (2023-02-08T14:44:21Z)
• Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially Observable Environments [9.067091068256747]
  本稿では,階層型グラフ再帰ネットワーク(HGRN)と呼ばれる新しいネットワーク構造を提案する。 以上の技術に基づいて,Soft-HGRNと呼ばれる値に基づくMADRLアルゴリズムと,SAC-HRGNというアクタクリティカルな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-05T09:51:25Z)
• MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
  人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
  論文  参考訳（メタデータ） (2021-06-05T03:27:08Z)
• Learning to Coordinate via Multiple Graph Neural Networks [16.226702761758595]
  MGANはグラフ畳み込みネットワークと値分解手法を組み合わせた新しいアルゴリズムである。 グラフネットワークの出力を可視化することにより,表現学習におけるグラフネットワークの驚くべき能力を示す。
  論文  参考訳（メタデータ） (2021-04-08T04:33:00Z)
• Cooperative Policy Learning with Pre-trained Heterogeneous Observation Representations [51.8796674904734]
  事前訓練された異種観察表現を用いた新たな協調学習フレームワークを提案する。 エンコーダ-デコーダに基づくグラフアテンションを用いて、複雑な相互作用と異種表現を学習する。
  論文  参考訳（メタデータ） (2020-12-24T04:52:29Z)
• Graph Convolutional Value Decomposition in Multi-Agent Reinforcement Learning [9.774412108791218]
  深層強化学習における値関数分解のための新しい枠組みを提案する。 特に、エージェントのチームは完全有向グラフのノードの集合であると考えている。 我々は,チーム状態-行動値関数を各エージェント毎の観察-行動値関数に分解する混合GNNモジュールを導入し,グローバルチーム報酬の分数で各エージェントに明示的なクレジット割り当てを行う。
  論文  参考訳（メタデータ） (2020-10-09T18:01:01Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)
• Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization [77.21951145754065]
  本稿では,共同グラフを渡る反復的メッセージのプロセスとして,このタスクをリキャストするクロスモーダルグラフ注意ネットワーク(CSMGAN)を提案する。 CSMGANは2つのモード間の高次相互作用を効果的に捉えることができ、より正確な局所化を可能にします。
  論文  参考訳（メタデータ） (2020-08-04T08:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。