論文の概要: Effective Multi-Agent Deep Reinforcement Learning Control with Relative Entropy Regularization

• arxiv url: http://arxiv.org/abs/2309.14727v1
• Date: Tue, 26 Sep 2023 07:38:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 14:45:13.469787
• Title: Effective Multi-Agent Deep Reinforcement Learning Control with Relative Entropy Regularization
• Title（参考訳）: 相対エントロピー正規化を用いた多エージェント深層強化学習制御
• Authors: Chenyang Miao, Yunduan Cui, Huiyun Li, Xinyu Wu
• Abstract要約: 複数のエージェントによって制御される様々なシナリオにおいて、限られた能力とサンプル効率の問題に取り組むために、Multi-Agent Continuous Dynamic Policy Gradient (MACDPP)が提案された。 複数のエージェントのポリシー更新の不整合を緩和するために、アクター・クリティカル(AC)構造を持つ分散実行トレーニング(CTDE)フレームワークに相対エントロピー正規化を導入する。
• 参考スコア（独自算出の注目度）: 6.441951360534903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, a novel Multi-agent Reinforcement Learning (MARL) approach, Multi-Agent Continuous Dynamic Policy Gradient (MACDPP) was proposed to tackle the issues of limited capability and sample efficiency in various scenarios controlled by multiple agents. It alleviates the inconsistency of multiple agents' policy updates by introducing the relative entropy regularization to the Centralized Training with Decentralized Execution (CTDE) framework with the Actor-Critic (AC) structure. Evaluated by multi-agent cooperation and competition tasks and traditional control tasks including OpenAI benchmarks and robot arm manipulation, MACDPP demonstrates significant superiority in learning capability and sample efficiency compared with both related multi-agent and widely implemented signal-agent baselines and therefore expands the potential of MARL in effectively learning challenging control scenarios.
• Abstract（参考訳）: 本稿では,MARL(Multi-Adnt Reinforcement Learning)アプローチであるMACDPP(Multi-Agent Continuous Dynamic Policy Gradient)を提案する。 分散実行(ctde)フレームワークとアクタ-クリティック(ac)構造による集中トレーニングに相対エントロピー正規化を導入することで、複数のエージェントのポリシー更新の不整合を軽減する。 マルチエージェント協調や競争タスク、OpenAIベンチマークやロボットアーム操作などの従来の制御タスクによって評価され、MACDPPは、関連するマルチエージェントと広く実装されているシグナルエージェントベースラインの両方と比較して、学習能力とサンプル効率において大きな優位性を示す。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Enhancing Heterogeneous Multi-Agent Cooperation in Decentralized MARL via GNN-driven Intrinsic Rewards [1.179778723980276]
  MARL(Multi-agent Reinforcement Learning)は、シーケンシャルな意思決定と制御タスクの鍵となるフレームワークである。 これらのシステムを現実のシナリオに展開するには、分散トレーニング、多様なエージェントセット、そして頻繁な環境報酬信号から学ぶ必要がある。 我々は,新しいグラフニューラルネットワーク(GNN)に基づく本質的なモチベーションを利用して,異種エージェントポリシーの学習を容易にするCoHetアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-12T21:38:40Z)
• Quantifying Agent Interaction in Multi-agent Reinforcement Learning for Cost-efficient Generalization [63.554226552130054]
  マルチエージェント強化学習(MARL)における一般化の課題 エージェントが未確認のコプレイヤーに影響される程度は、エージェントのポリシーと特定のシナリオに依存する。 与えられたシナリオと環境におけるエージェント間の相互作用強度を定量化する指標であるLoI(Level of Influence)を提示する。
  論文  参考訳（メタデータ） (2023-10-11T06:09:26Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• A Variational Approach to Mutual Information-Based Coordination for Multi-Agent Reinforcement Learning [17.893310647034188]
  マルチエージェント強化学習のための新しい相互情報フレームワークを提案する。 導出された下界を最大化するためにポリシーを適用することで,多エージェントアクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクタ-アクティベートアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-01T12:21:30Z)
• Macro-Action-Based Multi-Agent/Robot Deep Reinforcement Learning under Partial Observability [4.111899441919164]
  最先端のマルチエージェント強化学習(MARL)手法は、様々な複雑な問題に対して有望な解決策を提供してきた。 まず,MacDec-POMDPに対する値に基づくRL手法を提案する。 3つの訓練パラダイムの下でマクロアクションに基づくポリシー勾配アルゴリズムを定式化する。
  論文  参考訳（メタデータ） (2022-09-20T21:13:51Z)
• Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation [13.670618752160594]
  深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。 従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。 効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-25T19:09:29Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)
• UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers [108.92194081987967]
  タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。 従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。 提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
  論文  参考訳（メタデータ） (2021-01-20T07:24:24Z)
• Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent Control [3.3788926259119645]
  分散マルチエージェント制御では、システムは未知あるいは非常に不確実なダイナミクスで複雑である。 深層強化学習(DRL)は、システムダイナミクスを知らずに、データからコントローラや政治を学ぶことを約束している。 既存のマルチエージェント強化学習(MARL)アルゴリズムは、マルチエージェントシステムの閉ループ安定性を保証することができない。 安定保証付き分散マルチエージェント制御のための新しいMARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-20T06:11:42Z)
• FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
  FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。 離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。 我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
  論文  参考訳（メタデータ） (2020-03-14T21:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。