論文の概要: GTDE: Grouped Training with Decentralized Execution for Multi-agent Actor-Critic

• arxiv url: http://arxiv.org/abs/2501.10367v1
• Date: Thu, 12 Dec 2024 03:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 07:48:07.850861
• Title: GTDE: Grouped Training with Decentralized Execution for Multi-agent Actor-Critic
• Title（参考訳）: GTDE:マルチエージェントアクタークリティカルのための分散実行によるグループトレーニング
• Authors: Mengxian Li, Qi Wang, Yongjun Xu,
• Abstract要約: グループ化された訓練分散実行(GTDE)の新しい訓練パラダイムを提案する。 GTDEはローカル情報のみに依存しており、大規模マルチエージェントシステムのトレーニング要件を効果的に満たしている。 495エージェントの協調環境では,GTDEはベースラインに比べて平均382%の報酬を増大させた。
• 参考スコア（独自算出の注目度）: 15.687407230880787
• License:
• Abstract: The rapid advancement of multi-agent reinforcement learning (MARL) has given rise to diverse training paradigms to learn the policies of each agent in the multi-agent system. The paradigms of decentralized training and execution (DTDE) and centralized training with decentralized execution (CTDE) have been proposed and widely applied. However, as the number of agents increases, the inherent limitations of these frameworks significantly degrade the performance metrics, such as win rate, total reward, etc. To reduce the influence of the increasing number of agents on the performance metrics, we propose a novel training paradigm of grouped training decentralized execution (GTDE). This framework eliminates the need for a centralized module and relies solely on local information, effectively meeting the training requirements of large-scale multi-agent systems. Specifically, we first introduce an adaptive grouping module, which divides each agent into different groups based on their observation history. To implement end-to-end training, GTDE uses Gumbel-Sigmoid for efficient point-to-point sampling on the grouping distribution while ensuring gradient backpropagation. To adapt to the uncertainty in the number of members in a group, two methods are used to implement a group information aggregation module that merges member information within the group. Empirical results show that in a cooperative environment with 495 agents, GTDE increased the total reward by an average of 382\% compared to the baseline. In a competitive environment with 64 agents, GTDE achieved a 100\% win rate against the baseline.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)の急速な進歩により、マルチエージェントシステムの各エージェントのポリシーを学ぶための多様な訓練パラダイムが生まれている。 分散学習・実行(DTDE)と分散学習(CTDE)のパラダイムが提案され,広く適用されている。 しかし、エージェントの数が増えるにつれて、これらのフレームワークの固有の制限は、勝利率、総報酬など、パフォーマンス指標を著しく低下させます。 エージェント数の増加がパフォーマンス指標に与える影響を低減するため,GTDE(Grouped Training decentralized execution)の新たなトレーニングパラダイムを提案する。 このフレームワークは、集中型モジュールの必要性を排除し、ローカル情報のみに依存し、大規模マルチエージェントシステムのトレーニング要件を効果的に満たす。 具体的には、まず適応的なグループ化モジュールを導入し、それぞれのエージェントを観察履歴に基づいて異なるグループに分割する。 GTDEはGumbel-Sigmoidを用いてグルーピング分布の効率的なポイント・ツー・ポイントサンプリングを行う。 グループ内のメンバ数の不確実性に対応するために、グループ内のメンバ情報をマージするグループ情報集約モジュールを実装するために、2つの方法が使用される。 実験の結果, GTDEは495エージェントの協調環境において, 平均382\%の報酬をベースラインと比較した。 64エージェントの競争環境では、GTDEはベースラインに対して100倍の勝利率を達成した。

関連論文リスト

• The challenge of redundancy on multi-agent value factorisation [12.63182277116319]
  協調型マルチエージェント強化学習(MARL)の分野において、標準パラダイムは集中型トレーニングと分散実行の利用である。 そこで我々は,LRP(Layerwise Relevance propagation)を利用して,結合値関数の学習と局所報酬信号の生成を分離する手法を提案する。 VDNとQmixの両方のベースラインの性能は冗長エージェントの数によって低下するが、RDNは影響を受けない。
  論文  参考訳（メタデータ） (2023-03-28T20:41:12Z)
• RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning [90.43925357575543]
  本稿では,MARLポリシーを総合性良く訓練するための多様なマルチエージェントトラジェクトリを収集するために,ランク付けされたポリシーメモリ(RPM)を提案する。 RPMにより、マルチエージェントの一般化評価シナリオと完全なタスクにおいて、MARLエージェントが未確認エージェントと対話することが可能になり、平均402%のパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2022-10-18T07:32:43Z)
• Scalable Multi-Agent Model-Based Reinforcement Learning [1.95804735329484]
  我々は,モデルベース強化学習(MBRL)を用いて協調環境における集中型トレーニングをさらに活用するMAMBAという新しい手法を提案する。 エージェント間のコミュニケーションは、実行期間中に各エージェントのワールドモデルを維持するのに十分であり、一方、仮想ロールアウトはトレーニングに使用でき、環境と対話する必要がなくなる。
  論文  参考訳（メタデータ） (2022-05-25T08:35:00Z)
• Group-Agent Reinforcement Learning [12.915860504511523]
  複数の地理的に分散したエージェントがそれぞれのRLタスクを協調的に実行すれば、各エージェントの強化学習プロセスに大きく貢献できる。 グループエージェント強化学習(GARL)のための分散RLフレームワークDDAL(Decentralized Distributed Asynchronous Learning)を提案する。
  論文  参考訳（メタデータ） (2022-02-10T16:40:59Z)
• Evaluating Generalization and Transfer Capacity of Multi-Agent Reinforcement Learning Across Variable Number of Agents [0.0]
  マルチエージェント強化学習(MARL)問題は、タスクを解決するためにエージェント間の協調を必要とすることが多い。 中央集権化と分散化は、MARLにおける協力のための2つのアプローチである。 分散実行パラダイムを用いた集中型トレーニングを採用し, エージェント数に応じて, 学習モデルの一般化と伝達能力について検討する。
  論文  参考訳（メタデータ） (2021-11-28T15:29:46Z)
• Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
  協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。 本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
  論文  参考訳（メタデータ） (2021-09-22T10:08:15Z)
• MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
  人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
  論文  参考訳（メタデータ） (2021-06-05T03:27:08Z)
• Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge? [100.48692829396778]
  独立PPO (Independent PPO) は独立学習の一種であり、各エージェントはその局所値関数を単純に推定する。 IPPOの強い性能は、ある種の非定常性に対する堅牢性に起因する可能性がある。
  論文  参考訳（メタデータ） (2020-11-18T20:29:59Z)
• BGC: Multi-Agent Group Belief with Graph Clustering [1.9949730506194252]
  エージェントがコミュニケーションなしで情報を交換できる半通信方式を提案する。 近接するエージェントを小さなグループに分割し,グループ内のエージェントの信念を最小化するグループベースのモジュールを提案する。 その結果,提案手法はSMACベンチマークの大幅な改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T07:07:20Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)
• Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning [55.20040781688844]
  QMIXは、中央集権的なエンドツーエンドで分散ポリシーをトレーニングできる新しい価値ベースの手法である。 深層多エージェント強化学習のための新しいベンチマークとして,StarCraft Multi-Agent Challenge (SMAC)を提案する。
  論文  参考訳（メタデータ） (2020-03-19T16:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。