論文の概要: Comparative Study of Multi-Agent Actor-Critic Algorithms in Parameterized Action Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.19117v1
• Date: Tue, 21 Jul 2026 14:03:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.440118
• Title: Comparative Study of Multi-Agent Actor-Critic Algorithms in Parameterized Action Reinforcement Learning
• Title（参考訳）: パラメータ化行動強化学習におけるマルチエージェントアクター臨界アルゴリズムの比較検討
• Abstract要約: Multi-Agent Greedy Actor-Critic (MAGAC)、MultiAgent Soft Actor-Critic (MASAC)、MultiAgent Truncated Quantile Critics (MATQC) 我々は,Platform-v0ベンチマークとGoal-v0ベンチマークのアルゴリズムを,単エージェントベンチマークと比較した。 その結果,マルチエージェントフレームワークはGreedy Actor-Criticのパフォーマンスを継続的に向上させることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameterized action reinforcement learning has shown strong performance in environments requiring both discrete action selection and continuous parameterization. Prior work established the effectiveness of single-agent actor-critic algorithms - Greedy Actor-Critic (GAC), Soft Actor-Critic (SAC), and Truncated Quantile Critics (TQC) - on benchmark parameterized action tasks, but their extension to multi-agent settings remains largely unexplored. This paper presents a comparative study of shared-experience multi-agent extensions of these algorithms: Multi-Agent Greedy Actor-Critic (MAGAC), Multi-Agent Soft Actor-Critic (MASAC), and Multi-Agent Truncated Quantile Critics (MATQC). Rather than following the centralized training, decentralized execution (CTDE) paradigm, the proposed framework uses multiple independent actor-critic agents that share a replay buffer while maintaining separate policy and value networks. We evaluate the algorithms on the Platform-v0 and Goal-v0 benchmarks against their single-agent counterparts, using three-, five-, and ten-agent configurations to assess scalability. Performance is measured by average evaluation return and training time across ten independent runs, with one-way ANOVA and Tukey HSD post-hoc tests used to assess statistical significance. Results show that the multi-agent framework consistently improves Greedy Actor-Critic performance, while MASAC and MATQC show comparatively modest gains over their single-agent versions. Increasing the number of agents beyond five yields limited additional performance while substantially raising computational cost, particularly for MAGAC. These results highlight a trade-off between learning performance and computational efficiency, offering insight into the scalability of shared-experience multi-agent actor-critic methods for parameterized action reinforcement learning.
• Abstract（参考訳）: パラメータ化された行動強化学習は、離散的な行動選択と連続的なパラメータ化の両方を必要とする環境において、強い性能を示している。 先行研究は、ベンチマークパラメータ化されたアクションタスクにおけるシングルエージェントアクター批判アルゴリズム(Greedy Actor-Critic (GAC)、Soft Actor-Critic (SAC)、Truncated Quantile Critics (TQC))の有効性を確立したが、マルチエージェント設定への拡張は未定のままである。 本稿では, マルチエージェントグレディ・アクター・クリティカル(MAGAC), マルチエージェント・ソフト・アクター・クリティカル(MASAC), マルチエージェント・トランシッド・量子臨界(MATQC)の2つのアルゴリズムの共有エージェント拡張について比較検討する。 提案するフレームワークは,集中的なトレーニング,分散実行(CTDE)パラダイムに従うのではなく,個別のポリシとバリューネットワークを維持しながら,リプレイバッファを共有する複数の独立したアクタクリティカルエージェントを使用する。 我々は,Platform-v0ベンチマークとGoal-v0ベンチマークのアルゴリズムを,3,5,10エージェント構成を用いて評価し,スケーラビリティを評価する。 ANOVAとTukey HSDポストホックテストは、統計的意義を評価するために使用される。 その結果,マルチエージェントフレームワークはGreedy Actor-Criticのパフォーマンスを継続的に改善し,MASACとMATQCはシングルエージェントバージョンよりも比較的適度に向上していることがわかった。 5つ以上のエージェントの数が増加すると、特にMAGACの計算コストが大幅に上昇する一方で、追加性能が制限される。 これらの結果は,学習性能と計算効率のトレードオフを浮き彫りにして,パラメータ化行動強化学習のための多エージェントアクタ批判手法のスケーラビリティに関する知見を提供する。

関連論文リスト

• CARL: Critical Action Focused Reinforcement Learning for Multi-Step Agent [53.56274149236814]
  CARLは,多段階エージェントに適した,クリティカルアクションに着目した強化学習アルゴリズムである。 Carlは、トレーニング中のパフォーマンスと高い効率の両方を達成し、さまざまな評価設定にわたって推論を行う。
  論文  参考訳（メタデータ） (2025-12-04T16:15:46Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• SACHA: Soft Actor-Critic with Heuristic-Based Attention for Partially Observable Multi-Agent Path Finding [3.4260993997836753]
  我々は,ヒューリスティック・ベース・アテンション(SACHA)を用いたソフト・アクター・クリティカル(Soft Actor-Critic)と呼ばれる新しいマルチエージェント・アクター・クリティカルな手法を提案する。 SACHAは、各エージェントが最短経路ガイダンスに選択的に注目するニューラルネットワークを、その視野内の複数のエージェントから学習する。 我々は、いくつかの最先端の学習ベースMAPF法に対して、成功率とソリューション品質に関して、良好な改善を示す。
  論文  参考訳（メタデータ） (2023-07-05T23:36:33Z)
• MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
  我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。 提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-06-03T05:32:19Z)
• Solving Continuous Control via Q-learning [54.05120662838286]
  深いQ-ラーニングの簡単な修正は、アクター批判的手法による問題を大幅に軽減することを示します。 バンバン動作の離散化と値分解、協調マルチエージェント強化学習(MARL)としての単一エージェント制御のフレーミングにより、このシンプルな批判のみのアプローチは、最先端の連続アクター批判法の性能と一致する。
  論文  参考訳（メタデータ） (2022-10-22T22:55:50Z)
• Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling [13.915157044948364]
  マルチエージェント強化学習をスケールする上で重要な障害の1つは、個々のエージェントの行動にクレジットを割り当てることである。 本稿では,このクレジット代入問題に対して,PRD(textitpartial reward decoupling)と呼ぶアプローチで対処する。 PRDは、大規模な協調的マルチエージェントRL問題を、エージェントのサブセットを含む分離されたサブプロブレムに分解し、クレジット割り当てを単純化する。
  論文  参考訳（メタデータ） (2021-12-23T17:48:04Z)
• SA-MATD3:Self-attention-based multi-agent continuous control method in cooperative environments [12.959163198988536]
  既存のアルゴリズムは、エージェントの数が増加するにつれて、不均一な学習度の問題に悩まされる。 マルチエージェントアクター批評家のための新しい構造を提案し,批評家ネットワークに自己注意機構を適用した。 提案アルゴリズムは、リプレイメモリバッファ内のサンプルをフル活用して、エージェントのクラスの振る舞いを学習する。
  論文  参考訳（メタデータ） (2021-07-01T08:15:05Z)
• Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning [10.64928897082273]
  実験の結果,mSACは政策ベースアプローチのCOMAよりも有意に優れていた。 さらに、mSACは2c_vs_64zgやMMM2のような大きなアクションスペースタスクでかなり良い結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-14T07:02:40Z)
• Value-Decomposition Multi-Agent Actor-Critics [6.230751621285321]
  場合によっては、QMIXはアルゴリズムのトレーニング効率を促進するトレーニングパラダイムであるA2Cと互換性がない。 本稿では,新しいアクター批判フレームワーク,価値分解アクター批判(VDAC)を提案する。 本稿では,StarCraft II マイクロマネジメントタスクのテストベッド上での VDAC の評価を行い,提案手法が他のアクター・クリティカルな手法よりも中央値の性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-07-24T00:50:02Z)
• FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
  FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。 離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。 我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
  論文  参考訳（メタデータ） (2020-03-14T21:29:09Z)
• Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
  マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。 本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。