Fugu-MT 論文翻訳(概要): SA-MATD3:Self-attention-based multi-agent continuous control method in cooperative environments

論文の概要: SA-MATD3:Self-attention-based multi-agent continuous control method in cooperative environments

arxiv url: http://arxiv.org/abs/2107.00284v1
Date: Thu, 1 Jul 2021 08:15:05 GMT
ステータス: 処理完了
システム内更新日: 2021-07-02 13:33:47.694919
Title: SA-MATD3:Self-attention-based multi-agent continuous control method in cooperative environments
Title（参考訳）: SA-MATD3:自己注意に基づく協調環境におけるマルチエージェント連続制御法
Authors: Kai Liu and Yuyang Zhao and Gang Wang and Bei Peng
Abstract要約: 既存のアルゴリズムは、エージェントの数が増加するにつれて、不均一な学習度の問題に悩まされる。マルチエージェントアクター批評家のための新しい構造を提案し,批評家ネットワークに自己注意機構を適用した。提案アルゴリズムは、リプレイメモリバッファ内のサンプルをフル活用して、エージェントのクラスの振る舞いを学習する。
参考スコア（独自算出の注目度）: 12.959163198988536
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Cooperative problems under continuous control have always been the focus of multi-agent reinforcement learning. Existing algorithms suffer from the problem of uneven learning degree with the increase of the number of agents. In this paper, a new structure for a multi-agent actor critic is proposed, and the self-attention mechanism is applied in the critic network and the value decomposition method used to solve the uneven problem. The proposed algorithm makes full use of the samples in the replay memory buffer to learn the behavior of a class of agents. First, a new update method is proposed for policy networks that promotes learning efficiency. Second, the utilization of samples is improved, at the same time reflecting the ability of perspective-taking among groups. Finally, the "deceptive signal" in training is eliminated and the learning degree among agents is more uniform than in the existing methods. Multiple experiments were conducted in two typical scenarios of a multi-agent particle environment. Experimental results show that the proposed algorithm can perform better than the state-of-the-art ones, and that it exhibits higher learning efficiency with an increasing number of agents.
Abstract（参考訳）: 継続的制御下の協調的問題は常にマルチエージェント強化学習の焦点となっている。既存のアルゴリズムは、エージェント数の増加に伴う不均一な学習度の問題に苦しんでいる。本稿では,マルチエージェントアクタ評論家のための新しい構造を提案し,その自己認識機構を批評家ネットワークに適用し,不均一な問題を解決するために用いる値分解手法を提案する。提案アルゴリズムは、リプレイメモリバッファ内のサンプルをフル活用して、エージェントのクラスの振る舞いを学習する。まず,学習効率を高める政策ネットワークに対して,新たな更新手法を提案する。第2に, サンプルの利用率の向上と同時に, グループ間の視点取得能力も向上した。最後に、トレーニングにおける「知覚信号」を排除し、エージェント間の学習度を従来の方法よりも均一にする。マルチエージェント粒子環境の2つの典型的なシナリオで複数の実験を行った。実験の結果,提案アルゴリズムは最先端アルゴリズムよりも優れた性能を示し,エージェント数の増加とともに高い学習効率を示すことがわかった。

関連論文リスト

From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
Multi-Agent Transfer Learning via Temporal Contrastive Learning [8.487274986507922]
本稿では,深層多エージェント強化学習のための新しい伝達学習フレームワークを提案する。このアプローチは、ゴール条件付きポリシーと時間的コントラスト学習を自動的に組み合わせて、意味のあるサブゴールを発見する。
論文参考訳（メタデータ） (2024-06-03T14:42:14Z)
Deep Multi-Agent Reinforcement Learning for Decentralized Active Hypothesis Testing [11.639503711252663]
我々は,深層多エージェント強化学習の枠組みに根ざした新しいアルゴリズムを導入することで,マルチエージェント能動仮説テスト(AHT)問題に取り組む。エージェントが協調戦略を学習し、性能を向上させる能力を効果的に示す実験結果を包括的に提示する。
論文参考訳（メタデータ） (2023-09-14T01:18:04Z)
MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
論文参考訳（メタデータ） (2023-06-03T05:32:19Z)
Coach-assisted Multi-Agent Reinforcement Learning Framework for Unexpected Crashed Agents [120.91291581594773]
本稿では,予期せぬクラッシュを伴う協調型マルチエージェント強化学習システムの公式な定式化について述べる。本稿では,教師支援型多エージェント強化学習フレームワークを提案する。私たちの知る限りでは、この研究はマルチエージェントシステムにおける予期せぬクラッシュを初めて研究したものです。
論文参考訳（メタデータ） (2022-03-16T08:22:45Z)
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning [44.890087638530524]
マルチエージェント強化学習(MARL)は、複数のエージェントが相互に相互作用するポリシーを同時に学習する効率的な方法である。既存のアルゴリズムは、他のエージェントに対する自己行動の影響を正確に予測できない。提案アルゴリズムはRecursive Reasoning Graph (R2G)と呼ばれ、複数のマルチエージェント粒子およびロボットゲームにおける最先端の性能を示す。
論文参考訳（メタデータ） (2022-03-06T00:57:50Z)
Robust Reinforcement Learning via Genetic Curriculum [5.421464476555662]
遺伝的カリキュラムは、エージェントが現在失敗しているシナリオを自動的に識別し、関連するカリキュラムを生成するアルゴリズムである。我々の実証研究は、既存の技術アルゴリズムよりも堅牢性の向上を示し、2倍から8倍のエージェントが失敗する確率の低いトレーニングカリキュラムを提供する。
論文参考訳（メタデータ） (2022-02-17T01:14:20Z)
Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。コア最適化問題の実用的なパラメトリゼーションを提供する。
論文参考訳（メタデータ） (2021-07-08T18:01:02Z)
Scalable, Decentralized Multi-Agent Reinforcement Learning Methods Inspired by Stigmergy and Ant Colonies [0.0]
分散型マルチエージェント学習と計画に対する新しいアプローチを検討する。特に、この方法はアリコロニーの凝集、協調、行動に触発されている。このアプローチは、単一エージェントRLと、マルチエージェントパス計画と環境修正のためのアリコロニーに触発された分散型のスティグメロジカルアルゴリズムを組み合わせたものである。
論文参考訳（メタデータ） (2021-05-08T01:04:51Z)
Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
論文参考訳（メタデータ） (2021-03-22T14:18:39Z)
Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。