Fugu-MT 論文翻訳(概要): GHQ: Grouped Hybrid Q Learning for Heterogeneous Cooperative Multi-agent Reinforcement Learning

論文の概要: GHQ: Grouped Hybrid Q Learning for Heterogeneous Cooperative Multi-agent Reinforcement Learning

arxiv url: http://arxiv.org/abs/2303.01070v2
Date: Wed, 14 Aug 2024 09:05:09 GMT
ステータス: 処理完了
システム内更新日: 2024-08-15 18:56:36.673826
Title: GHQ: Grouped Hybrid Q Learning for Heterogeneous Cooperative Multi-agent Reinforcement Learning
Title（参考訳）: GHQ: 異種協調型マルチエージェント強化学習のためのグループ型ハイブリッドQ学習
Authors: Xiaoyang Yu, Youfang Lin, Xiangsen Wang, Sheng Han, Kai Lv,
Abstract要約: 主に,Starcraft Multi-Agent Challenges (SMAC)環境におけるMARL問題について論じる。この問題に対処するために、GIGM(Grouped Individual-Global-Max Consistency)と新しいMARLアルゴリズム、Grouped Hybrid Q Learning(GHQ)を提案する。オリジナルおよび新しいヘテロジニアスマップの実験は、他の最先端のアルゴリズムと比較して、GHQの素晴らしい性能を示している。
参考スコア（独自算出の注目度）: 18.039938423512773
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Previous deep multi-agent reinforcement learning (MARL) algorithms have achieved impressive results, typically in homogeneous scenarios. However, heterogeneous scenarios are also very common and usually harder to solve. In this paper, we mainly discuss cooperative heterogeneous MARL problems in Starcraft Multi-Agent Challenges (SMAC) environment. We firstly define and describe the heterogeneous problems in SMAC. In order to comprehensively reveal and study the problem, we make new maps added to the original SMAC maps. We find that baseline algorithms fail to perform well in those heterogeneous maps. To address this issue, we propose the Grouped Individual-Global-Max Consistency (GIGM) and a novel MARL algorithm, Grouped Hybrid Q Learning (GHQ). GHQ separates agents into several groups and keeps individual parameters for each group, along with a novel hybrid structure for factorization. To enhance coordination between groups, we maximize the Inter-group Mutual Information (IGMI) between groups' trajectories. Experiments on original and new heterogeneous maps show the fabulous performance of GHQ compared to other state-of-the-art algorithms.
Abstract（参考訳）: 従来の深層マルチエージェント強化学習(MARL)アルゴリズムは、通常、均質なシナリオにおいて、印象的な結果を得た。しかし、異種シナリオも非常に一般的であり、通常は解決が困難である。本稿では,Starcraft Multi-Agent Challenges (SMAC)環境における協調的異種MARL問題について論じる。まず、SMACにおける異種問題を定義し、記述する。問題を包括的に明らかにし,研究するために,元のSMACマップに新たなマップを追加する。ベースラインアルゴリズムは、これらの異種写像ではうまく機能しない。この問題に対処するために、GIGM(Grouped Individual-Global-Max Consistency)と新しいMARLアルゴリズム、Grouped Hybrid Q Learning(GHQ)を提案する。 GHQはエージェントを複数のグループに分割し、各グループごとに個別のパラメータを保持する。グループ間の協調を強化するため,グループ間の相互情報(IGMI)を最大化する。オリジナルおよび新しいヘテロジニアスマップの実験は、他の最先端のアルゴリズムと比較して、GHQの素晴らしい性能を示している。

関連論文リスト

A Multiagent Path Search Algorithm for Large-Scale Coalition Structure Generation [61.08720171136229]
結合構造生成はマルチエージェントシステムにおける基本的な計算問題である。我々はCSGの多エージェントパス探索アルゴリズムであるSALDAEを開発し、連立構造グラフ上で運用する。
論文参考訳（メタデータ） (2025-02-14T15:21:27Z)
A Greedy Strategy for Graph Cut [95.2841574410968]
GGCと呼ばれるグラフカットの問題を解決するための欲求戦略を提案する。これは、各データサンプルがクラスタと見なされる状態から始まり、2つのクラスタを動的にマージする。 GGCはサンプル数に関してほぼ線形な計算複雑性を持つ。
論文参考訳（メタデータ） (2024-12-28T05:49:42Z)
Improving Global Parameter-sharing in Physically Heterogeneous Multi-agent Reinforcement Learning with Unified Action Space [22.535906675532196]
マルチエージェントシステムでは、アクションセマンティクスはエージェントのアクションが他のエンティティに対して異なる影響を示す。従来のマルチエージェント強化学習(MARL)アルゴリズムは、多種多様な異種エージェントにまたがる大域的パラメータ共有を適用する。要件を満たすために統一行動空間(UAS)を導入する。
論文参考訳（メタデータ） (2024-08-14T09:15:11Z)
QTypeMix: Enhancing Multi-Agent Cooperative Strategies through Heterogeneous and Homogeneous Value Decomposition [11.170571181947274]
そこで我々はQTypeMixを提案する。これは値分解過程を均質および不均一な段階に分割する。提案手法をSMACとSMACv2の14の地図上で検証した結果,QTypeMixは様々な課題において,最先端の性能を達成できることがわかった。
論文参考訳（メタデータ） (2024-08-12T12:27:58Z)
POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
論文参考訳（メタデータ） (2024-07-20T16:37:21Z)
Yes, Topology Matters in Decentralized Optimization: Refined Convergence and Topology Learning under Heterogeneous Data [0.0]
本稿では,分散学習アルゴリズムD-SGD(Decentralized Gradient Descent Algorithm)をデータ不均一性の下で再検討する。我々は、D-SGDの収束速度において、近隣の不均一性と呼ばれる新しい量によって果たす重要な役割を示す。エージェント分布のトポロジとヘテロジニティを結合することにより、分散学習におけるこれらの2つの概念間の不十分な相互作用に光を当てる。
論文参考訳（メタデータ） (2022-04-09T11:29:12Z)
Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文参考訳（メタデータ） (2022-01-31T03:15:28Z)
Graph Representation Learning via Contrasting Cluster Assignments [57.87743170674533]
GRCCAと呼ばれるクラスタ割り当てを対比して、教師なしグラフ表現モデルを提案する。クラスタリングアルゴリズムとコントラスト学習を組み合わせることで、局所的およびグローバルな情報を合成的にうまく活用する動機付けがある。 GRCCAは、ほとんどのタスクにおいて強力な競争力を持っている。
論文参考訳（メタデータ） (2021-12-15T07:28:58Z)
Multi-resource allocation for federated settings: A non-homogeneous Markov chain model [2.552459629685159]
連合設定において、エージェントは中央エージェントまたはサーバと協調し、エージェントが互いに情報を共有しない最適化問題を解決する。本稿では,アジェント間通信のない単一共有リソースのフェデレーション設定における最適化問題のクラスを解決するために,AIMDアルゴリズムを簡単な方法で変更する方法について述べる。シングルリソースのアルゴリズムを、スマートシティや共有エコノミー、その他多くのアプリケーションに出現する複数の異種共有リソースに拡張する。
論文参考訳（メタデータ） (2021-04-26T19:10:00Z)
cMLSGA: A Co-Evolutionary Multi-Level Selection Genetic Algorithm for Multi-Objective Optimization [0.0]
MLSGA(Multi-Level Selection Genetic Algorithm)は、すでに様々な問題に対して優れた性能を示している。本稿では,共進化を個人ではなく集団間の競争として定義する,個別の共進化機構を提案する。
論文参考訳（メタデータ） (2021-04-22T13:52:21Z)
Detecting Communities in Heterogeneous Multi-Relational Networks:A Message Passing based Approach [89.19237792558687]
コミュニティは、ソーシャルネットワーク、生物学的ネットワーク、コンピュータおよび情報ネットワークを含むネットワークの共通の特徴である。我々は,全同種ネットワークのコミュニティを同時に検出する効率的なメッセージパッシングに基づくアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-04-06T17:36:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。