論文の概要: Off-Beat Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2205.13718v1
• Date: Fri, 27 May 2022 02:21:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 08:26:03.876324
• Title: Off-Beat Multi-Agent Reinforcement Learning
• Title（参考訳）: オフビートマルチエージェント強化学習
• Authors: Wei Qiu, Weixun Wang, Rundong Wang, Bo An, Yujing Hu, Svetlana Obraztsova, Zinovi Rabinovich, Jianye Hao, Yingfeng Chen, Changjie Fan
• Abstract要約: オフビート動作が一般的環境におけるモデルフリーマルチエージェント強化学習(MARL)について検討した。 モデルレスMARLアルゴリズムのための新しいエピソードメモリLeGEMを提案する。 我々は,Stag-Hunter Game,Quarry Game,Afforestation Game,StarCraft IIマイクロマネジメントタスクなど,オフビートアクションを伴うさまざまなマルチエージェントシナリオ上でLeGEMを評価する。
• 参考スコア（独自算出の注目度）: 62.833358249873704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate model-free multi-agent reinforcement learning (MARL) in environments where off-beat actions are prevalent, i.e., all actions have pre-set execution durations. During execution durations, the environment changes are influenced by, but not synchronised with, action execution. Such a setting is ubiquitous in many real-world problems. However, most MARL methods assume actions are executed immediately after inference, which is often unrealistic and can lead to catastrophic failure for multi-agent coordination with off-beat actions. In order to fill this gap, we develop an algorithmic framework for MARL with off-beat actions. We then propose a novel episodic memory, LeGEM, for model-free MARL algorithms. LeGEM builds agents' episodic memories by utilizing agents' individual experiences. It boosts multi-agent learning by addressing the challenging temporal credit assignment problem raised by the off-beat actions via our novel reward redistribution scheme, alleviating the issue of non-Markovian reward. We evaluate LeGEM on various multi-agent scenarios with off-beat actions, including Stag-Hunter Game, Quarry Game, Afforestation Game, and StarCraft II micromanagement tasks. Empirical results show that LeGEM significantly boosts multi-agent coordination and achieves leading performance and improved sample efficiency.
• Abstract（参考訳）: 本研究では,オフビート動作が普及している環境でのモデルフリーマルチエージェント強化学習(MARL)について検討する。 実行期間中、環境の変化は、アクション実行と同期しないが影響を受けます。 このような設定は多くの現実世界の問題においてユビキタスである。 しかし、ほとんどのMARL法は、アクションは推論の直後に実行され、しばしば非現実的であり、オフビートアクションとマルチエージェント協調の破滅的な失敗につながると仮定する。 このギャップを埋めるために、オフビート動作を伴うMARLのためのアルゴリズムフレームワークを開発する。 次に,モデルレスMARLアルゴリズムのための新しいエピソードメモリLeGEMを提案する。 LeGEMはエージェントの個々の経験を利用してエージェントのエピソード記憶を構築する。 非マルコフ的報酬の問題を緩和し,新たな報酬再分配方式により,オフビート行動によって引き起こされる困難な時間的クレジット割当問題に対処することにより,マルチエージェント学習を促進する。 我々は,Stag-Hunter Game,Quarry Game,Afforestation Game,StarCraft IIマイクロマネジメントタスクなど,オフビートアクションを伴うさまざまなマルチエージェントシナリオ上でLeGEMを評価する。 実験の結果,LeGEMはマルチエージェント調整を著しく促進し,先行性能を実現し,試料効率が向上した。

関連論文リスト

• Imagine, Initialize, and Explore: An Effective Exploration Method in Multi-Agent Reinforcement Learning [27.81925751697255]
  複雑なシナリオにおける効率的なマルチエージェント探索法を提案する。 我々は、状態、観察、プロンプト、行動、報酬が自己回帰的に予測されるシーケンスモデリング問題として想像を定式化する。 臨界状態のエージェントを初期化することにより、IIEは潜在的に重要な未探索領域を発見する可能性を大幅に高める。
  論文  参考訳（メタデータ） (2024-02-28T01:45:01Z)
• Asynchronous Multi-Agent Reinforcement Learning for Efficient Real-Time Multi-Robot Cooperative Exploration [16.681164058779146]
  本稿では,複数のロボットが,未知の領域をできるだけ早く探索する必要がある,協調探索の課題について考察する。 既存のMARLベースの手法では、すべてのエージェントが完全に同期的に動作していると仮定して、探索効率の指標としてアクション作成ステップを採用している。 本稿では,非同期MARLソリューションであるAsynchronous Coordination Explorer (ACE)を提案する。
  論文  参考訳（メタデータ） (2023-01-09T14:53:38Z)
• RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning [90.43925357575543]
  本稿では,MARLポリシーを総合性良く訓練するための多様なマルチエージェントトラジェクトリを収集するために,ランク付けされたポリシーメモリ(RPM)を提案する。 RPMにより、マルチエージェントの一般化評価シナリオと完全なタスクにおいて、MARLエージェントが未確認エージェントと対話することが可能になり、平均402%のパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2022-10-18T07:32:43Z)
• The StarCraft Multi-Agent Challenges+ : Learning of Multi-Stage Tasks and Environmental Factors without Precise Reward Functions [14.399479538886064]
  本稿では,StarCraft Multi-Agent Challenges+という新しいベンチマークを提案する。 この課題は、マイクロコントロールだけでなく、暗黙のマルチステージタスクや環境要因を効率的に学習するMARLアルゴリズムの探索能力に関心がある。 SMAC+ の MARL アルゴリズムについて検討し,近年の手法は従来の課題とよく似ているが,攻撃的シナリオでは誤動作する。
  論文  参考訳（メタデータ） (2022-07-05T12:43:54Z)
• Multi-agent Actor-Critic with Time Dynamical Opponent Model [16.820873906787906]
  多エージェント強化学習では、複数のエージェントが共通の環境と相互作用しながら同時に学習する。 本稿では,TDOM(textitTime Dynamical Opponent Model)を提案する。 我々は,テスト期間中にTDOMが優れた対向行動予測を達成できることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-12T07:16:15Z)
• On the Use and Misuse of Absorbing States in Multi-agent Reinforcement Learning [55.95253619768565]
  現在のMARLアルゴリズムは、実験を通してグループ内のエージェントの数が固定されていると仮定している。 多くの実践的な問題において、エージェントはチームメイトの前に終了する可能性がある。 本稿では,吸収状態を持つ完全連結層ではなく,注意を用いた既存の最先端MARLアルゴリズムのアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-11-10T23:45:08Z)
• Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
  協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。 本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
  論文  参考訳（メタデータ） (2021-09-22T10:08:15Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。