論文の概要: Multi-Agent Reinforcement Learning for Problems with Combined Individual
and Team Reward
- arxiv url: http://arxiv.org/abs/2003.10598v1
- Date: Tue, 24 Mar 2020 00:55:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 08:32:18.802281
- Title: Multi-Agent Reinforcement Learning for Problems with Combined Individual
and Team Reward
- Title(参考訳): 個人報酬とチーム報酬の複合問題に対するマルチエージェント強化学習
- Authors: Hassam Ullah Sheikh and Ladislau B\"ol\"oni
- Abstract要約: 本稿では,新しい多エージェント強化学習フレームワークであるDecomposed Multi-Agent Deep Deterministic Policy Gradient (DE-MADDPG)を提案する。
提案手法は,MADDPGアルゴリズムの直接適応よりもはるかに優れた,より安定した性能が得られることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many cooperative multi-agent problems require agents to learn individual
tasks while contributing to the collective success of the group. This is a
challenging task for current state-of-the-art multi-agent reinforcement
algorithms that are designed to either maximize the global reward of the team
or the individual local rewards. The problem is exacerbated when either of the
rewards is sparse leading to unstable learning. To address this problem, we
present Decomposed Multi-Agent Deep Deterministic Policy Gradient (DE-MADDPG):
a novel cooperative multi-agent reinforcement learning framework that
simultaneously learns to maximize the global and local rewards. We evaluate our
solution on the challenging defensive escort team problem and show that our
solution achieves a significantly better and more stable performance than the
direct adaptation of the MADDPG algorithm.
- Abstract(参考訳): 多くの協調的マルチエージェント問題では、エージェントが個々のタスクを学習し、グループ全体の成功に貢献した。
これは、チームのグローバルな報酬を最大化する、あるいは個々のローカルな報酬を最大化するように設計された、最先端のマルチエージェント強化アルゴリズムにとって、難しいタスクです。
どちらかの報酬が不足して不安定な学習につながると、問題は悪化する。
この問題に対処するために,グローバルとローカルの報酬を最大化するために同時に学習する新しい多エージェント強化学習フレームワークであるDecomposed Multi-Agent Deep Deterministic Policy Gradient (DE-MADDPG)を提案する。
また,本ソリューションは,maddpgアルゴリズムの直接適応よりも,はるかに良好で安定した性能を実現することを実証する。
関連論文リスト
- Adaptive In-conversation Team Building for Language Model Agents [33.03550687362213]
複数の大規模言語モデル(LLM)エージェントを活用することは、複雑なタスクに取り組む上で有望なアプローチであることが示されている。
私たちの新しい適応型チーム構築パラダイムは、Captain Agentという新しいエージェント設計を通じて実現された柔軟なソリューションを提供します。
6つの実世界のシナリオに対する包括的な評価は、Captain Agentが既存のマルチエージェントメソッドを大幅に上回っていることを示している。
論文 参考訳(メタデータ) (2024-05-29T18:08:37Z) - GOV-REK: Governed Reward Engineering Kernels for Designing Robust Multi-Agent Reinforcement Learning Systems [2.867517731896504]
マルチエージェント強化学習システムにおけるエージェントに報酬分布を動的に割り当てるGOVerned Reward Engineering Kernels (GOV-REK)を提案する。
我々はまた、意味のあるエージェント報酬分布を割り当てるために、状態または共同アクション空間の基盤構造を利用するガバナンスカーネルも導入する。
我々の実験は、有意義な報奨が、異なるMARL問題を効果的に学習する学習プロセスを開始することを実証している。
論文 参考訳(メタデータ) (2024-04-01T14:19:00Z) - Joint Intrinsic Motivation for Coordinated Exploration in Multi-Agent
Deep Reinforcement Learning [0.0]
本稿では,エージェントが一括して斬新な行動を示すような報奨戦略を提案する。
ジムは連続した環境で機能するように設計されたノベルティの集中的な尺度に基づいて共同軌道に報いる。
その結果、最適戦略が高レベルの調整を必要とするタスクの解決には、共同探索が不可欠であることが示唆された。
論文 参考訳(メタデータ) (2024-02-06T13:02:00Z) - Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A
Survey [48.77342627610471]
協調型マルチエージェント強化学習は多くの実世界の協調作業を解決する強力なツールである。
完全に分散した環境で最適な共同政策に収束できるアルゴリズムを導出することは困難である。
論文 参考訳(メタデータ) (2024-01-10T05:07:42Z) - Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。
これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。
提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
論文 参考訳(メタデータ) (2023-03-24T15:12:28Z) - Learning Heterogeneous Agent Cooperation via Multiagent League Training [6.801749815385998]
本研究ではヘテロジニアス・リーグ・トレーニング(HLT)と呼ばれる汎用強化学習アルゴリズムを提案する。
HLTは、エージェントがトレーニング中に調査したポリシーのプールを追跡し、将来のポリシー最適化を促進するために異質なポリシーの集合を集めている。
協力スキルのレベルが異なるチームメイトとのコラボレーションにおいて、エージェントの振る舞いの多様性を高めるために、ハイパーネットワークが導入される。
論文 参考訳(メタデータ) (2022-11-13T13:57:15Z) - Locality Matters: A Scalable Value Decomposition Approach for
Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。
本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
論文 参考訳(メタデータ) (2021-09-22T10:08:15Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Multiagent Deep Reinforcement Learning: Challenges and Directions
Towards Human-Like Approaches [0.0]
本稿では,最も一般的なマルチエージェント問題表現とその主な課題について述べる。
これらの課題に対処する5つの研究領域を特定します。
我々は,マルチエージェント強化学習が成功するためには,これらの課題を学際的アプローチで解決することを提案する。
論文 参考訳(メタデータ) (2021-06-29T19:53:15Z) - Softmax with Regularization: Better Value Estimation in Multi-Agent
Reinforcement Learning [72.28520951105207]
q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。
ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。
本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
論文 参考訳(メタデータ) (2021-03-22T14:18:39Z) - UneVEn: Universal Value Exploration for Multi-Agent Reinforcement
Learning [53.73686229912562]
我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。
UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。
一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
論文 参考訳(メタデータ) (2020-10-06T19:08:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。