論文の概要: MESA: Cooperative Meta-Exploration in Multi-Agent Learning through Exploiting State-Action Space Structure

• arxiv url: http://arxiv.org/abs/2405.00902v1
• Date: Wed, 1 May 2024 23:19:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 18:23:47.327521
• Title: MESA: Cooperative Meta-Exploration in Multi-Agent Learning through Exploiting State-Action Space Structure
• Title（参考訳）: MESA: 複数エージェント学習における協調的メタ探索
• Authors: Zhicheng Zhang, Yancheng Liang, Yi Wu, Fei Fang,
• Abstract要約: 本稿では,協調型マルチエージェント学習のためのメタ探索手法であるMESAを紹介する。 エージェントはまず、訓練タスクからエージェントの高度に反転する状態-行動サブスペースを識別し、次にサブスペースを"探索する"ための多様な探索ポリシーのセットを学ぶことで探索を学ぶ。 実験の結果,多エージェント粒子環境とマルチエージェント MuJoCo 環境におけるスパース・リワードタスクにおいて,MESA は学習された探索ポリシにより,大幅な性能向上を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 37.56309011441144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent reinforcement learning (MARL) algorithms often struggle to find strategies close to Pareto optimal Nash Equilibrium, owing largely to the lack of efficient exploration. The problem is exacerbated in sparse-reward settings, caused by the larger variance exhibited in policy learning. This paper introduces MESA, a novel meta-exploration method for cooperative multi-agent learning. It learns to explore by first identifying the agents' high-rewarding joint state-action subspace from training tasks and then learning a set of diverse exploration policies to "cover" the subspace. These trained exploration policies can be integrated with any off-policy MARL algorithm for test-time tasks. We first showcase MESA's advantage in a multi-step matrix game. Furthermore, experiments show that with learned exploration policies, MESA achieves significantly better performance in sparse-reward tasks in several multi-agent particle environments and multi-agent MuJoCo environments, and exhibits the ability to generalize to more challenging tasks at test time.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)アルゴリズムは、効率的探索の欠如により、パレート最適ナッシュ平衡に近い戦略を見つけるのに苦労することが多い。 この問題は、政策学習で示される大きな分散によって引き起こされるスパース・リワード・セッティングにおいて悪化する。 本稿では,協調型マルチエージェント学習のためのメタ探索手法であるMESAを紹介する。 エージェントはまず、訓練タスクからエージェントの高度に反転する状態-行動サブスペースを識別し、次にサブスペースを"探索する"ための多様な探索ポリシーのセットを学ぶことで探索を学ぶ。 これらの訓練された探索ポリシーは、テストタイムタスクの任意のオフポリティクスMARLアルゴリズムと統合することができる。 我々はまず,マルチステップ行列ゲームにおいてMESAの優位性を示す。 さらに,複数のマルチエージェント粒子環境およびマルチエージェント MuJoCo 環境におけるスパース・リワードタスクにおいて,学習された探索ポリシにより,MESA は,テスト時により困難なタスクに一般化する能力を示す。

関連論文リスト

• Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
  本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。 我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
  論文  参考訳（メタデータ） (2024-03-03T22:57:44Z)
• FoX: Formation-aware exploration in multi-agent reinforcement learning [10.554220876480297]
  本研究では, 探索空間における構成に基づく等価性関係を提案し, 異なる構成の有意義な状態のみを探索することによって探索空間を削減することを目的とする。 数値計算の結果,提案するFoXフレームワークは,Google Research Football(GRF)における最先端のMARLアルゴリズムと,Starcraft IIマルチエージェントチャレンジ(SMAC)タスクを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T08:39:44Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• Self-Motivated Multi-Agent Exploration [38.55811936029999]
  協調型マルチエージェント強化学習(CMARL)では,エージェントが自己探索とチームコラボレーションのバランスをとることが重要である。 近年の研究は主にエージェントの協調探索に焦点が当てられ、州空間の指数的に成長した探索をもたらした。 我々は,自己探索とチーム協力のトレードオフを適応的に見つけることで,チームのタスクの成功を目指す,自己運動型マルチエージェント探索(SMMAE)を提案する。
  論文  参考訳（メタデータ） (2023-01-05T14:42:39Z)
• RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning [90.43925357575543]
  本稿では,MARLポリシーを総合性良く訓練するための多様なマルチエージェントトラジェクトリを収集するために,ランク付けされたポリシーメモリ(RPM)を提案する。 RPMにより、マルチエージェントの一般化評価シナリオと完全なタスクにおいて、MARLエージェントが未確認エージェントと対話することが可能になり、平均402%のパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2022-10-18T07:32:43Z)
• A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space [0.0]
  深層多エージェントハイブリッドアクター批判(MAHSAC)と多エージェントハイブリッド深層決定主義政策勾配(MAHDDPG)の2つのアルゴリズムを提案する。 私たちの経験は、簡単なマルチエージェント粒子の世界であるマルチエージェント粒子環境と、いくつかの基本的なシミュレートされた物理で動いています。
  論文  参考訳（メタデータ） (2022-08-30T07:40:15Z)
• Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy [0.0]
  本稿では,ハイブリッドアクション空間におけるマルチエージェント問題に対処するために,深層マルチエージェントハイブリッド・アクター・クリティカル(MAHSAC)を提案する。 このアルゴリズムは、中央集権的なトレーニングであるが、分散実行(CTDE)パラダイムに従い、ハイブリッドアクション空間問題を扱うためにソフトアクター・クリティカルアルゴリズム(SAC)を拡張している。 私たちの経験は、連続的な観察と離散的なアクション空間を持つ、簡単なマルチエージェント粒子の世界と、いくつかの基本的なシミュレートされた物理学で動いています。
  論文  参考訳（メタデータ） (2022-06-10T13:52:59Z)
• Cooperative Exploration for Multi-Agent Deep Reinforcement Learning [127.4746863307944]
  深層強化学習のための協調型マルチエージェント探索(CMAE)を提案する。 ゴールは正規化エントロピーに基づく手法により、複数の射影状態空間から選択される。 CMAEが様々なタスクのベースラインを一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2021-07-23T20:06:32Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。