論文の概要: Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2003.10423v1
- Date: Mon, 23 Mar 2020 17:49:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 23:24:29.652273
- Title: Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement
Learning
- Title(参考訳): マルチエージェント強化学習のための進化的人口カリキュラム
- Authors: Qian Long, Zihan Zhou, Abhibav Gupta, Fei Fang, Yi Wu, Xiaolong Wang
- Abstract要約: 進化的人口カリキュラムは、段階的にトレーニングエージェントの人口を徐々に増加させ、マルチエージェント強化学習(MARL)をスケールアップする。
我々は、人気のあるMARLアルゴリズムであるMADDPGにEPCを実装し、エージェントの数が指数関数的に増加するにつれて、我々のアプローチがベースラインを一貫して上回っていることを実証的に示す。
- 参考スコア(独自算出の注目度): 37.22210622432453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In multi-agent games, the complexity of the environment can grow
exponentially as the number of agents increases, so it is particularly
challenging to learn good policies when the agent population is large. In this
paper, we introduce Evolutionary Population Curriculum (EPC), a curriculum
learning paradigm that scales up Multi-Agent Reinforcement Learning (MARL) by
progressively increasing the population of training agents in a stage-wise
manner. Furthermore, EPC uses an evolutionary approach to fix an objective
misalignment issue throughout the curriculum: agents successfully trained in an
early stage with a small population are not necessarily the best candidates for
adapting to later stages with scaled populations. Concretely, EPC maintains
multiple sets of agents in each stage, performs mix-and-match and fine-tuning
over these sets and promotes the sets of agents with the best adaptability to
the next stage. We implement EPC on a popular MARL algorithm, MADDPG, and
empirically show that our approach consistently outperforms baselines by a
large margin as the number of agents grows exponentially.
- Abstract(参考訳): マルチエージェントゲームでは,エージェントの数が増加するにつれて環境の複雑さが指数関数的に増加するため,エージェントの数が大きくなると適切なポリシーを学ぶことは特に困難である。
本稿では,MARL(Multi-Agent Reinforcement Learning, マルチエージェント強化学習)を段階的に増加させるカリキュラム学習パラダイムであるEPC(Evolutionary Population Curriculum)を紹介する。
さらに、EPCは、カリキュラム全体を通して客観的な不正調整の問題を修正するために進化的アプローチを用いている。
具体的には、EPCは各ステージに複数のエージェントセットを保持し、これらのセットに対してミックス・アンド・マッチと微調整を行い、次のステージに最適な適合性を持つエージェントセットを促進する。
我々は、人気のあるMARLアルゴリズムであるMADDPGにEPCを実装し、エージェントの数が指数関数的に増加するにつれて、我々のアプローチがベースラインを一貫して上回ることを示す。
関連論文リスト
- Agent Alignment in Evolving Social Norms [65.45423591744434]
本稿では,エージェント進化とアライメントのための進化的フレームワークであるEvolutionaryAgentを提案する。
社会規範が継続的に進化する環境では、エージェントは現在の社会規範に適応し、生存と増殖の確率が高くなる。
進化的エージェントは、一般的なタスクにおいてその能力を維持しながら、進化する社会規範と徐々に整合できることを示す。
論文 参考訳(メタデータ) (2024-01-09T15:44:44Z) - Quantifying Agent Interaction in Multi-agent Reinforcement Learning for
Cost-efficient Generalization [63.554226552130054]
マルチエージェント強化学習(MARL)における一般化の課題
エージェントが未確認のコプレイヤーに影響される程度は、エージェントのポリシーと特定のシナリオに依存する。
与えられたシナリオと環境におけるエージェント間の相互作用強度を定量化する指標であるLoI(Level of Influence)を提示する。
論文 参考訳(メタデータ) (2023-10-11T06:09:26Z) - Decentralized Adaptive Formation via Consensus-Oriented Multi-Agent
Communication [9.216867817261493]
本稿では,Consensus-based Decentralized Adaptive Formation (Cons-DecAF) フレームワークを提案する。
具体的には、コンセンサス指向のマルチエージェント通信(ConsMAC)という新しいマルチエージェント強化学習手法を開発する。
エージェントの特定の位置を事前に割り当てる代わりに、Hausdorff 距離による変位に基づく生成を用いて、生成効率を著しく向上する。
論文 参考訳(メタデータ) (2023-07-23T10:41:17Z) - Supplementing Gradient-Based Reinforcement Learning with Simple
Evolutionary Ideas [4.873362301533824]
我々は、強化学習(RL)における大規模だが指向的な学習ステップを導入するための、単純でサンプル効率のよいアルゴリズムを提案する。
この手法では、共通経験バッファを持つRLエージェントの集団を用いて、ポリシー空間を効率的に探索するために、エージェントのクロスオーバーと突然変異を行う。
論文 参考訳(メタデータ) (2023-05-10T09:46:53Z) - RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning [90.43925357575543]
本稿では,MARLポリシーを総合性良く訓練するための多様なマルチエージェントトラジェクトリを収集するために,ランク付けされたポリシーメモリ(RPM)を提案する。
RPMにより、マルチエージェントの一般化評価シナリオと完全なタスクにおいて、MARLエージェントが未確認エージェントと対話することが可能になり、平均402%のパフォーマンスが大幅に向上する。
論文 参考訳(メタデータ) (2022-10-18T07:32:43Z) - Quantifying environment and population diversity in multi-agent
reinforcement learning [7.548322030720646]
一般化は多エージェント強化学習の大きな課題である。
本稿では,マルチエージェント領域における一般化と多様性の関係を定量的に検討する。
共同演奏者の変動が与える影響をよりよく理解するために,実験では,行動の多様性の環境によらない新しい尺度を導入する。
論文 参考訳(メタデータ) (2021-02-16T18:54:39Z) - Is Independent Learning All You Need in the StarCraft Multi-Agent
Challenge? [100.48692829396778]
独立PPO (Independent PPO) は独立学習の一種であり、各エージェントはその局所値関数を単純に推定する。
IPPOの強い性能は、ある種の非定常性に対する堅牢性に起因する可能性がある。
論文 参考訳(メタデータ) (2020-11-18T20:29:59Z) - MAPPER: Multi-Agent Path Planning with Evolutionary Reinforcement
Learning in Mixed Dynamic Environments [30.407700996710023]
本稿では,進化的強化学習法(MAPPER)を用いた分散部分観測可能なマルチエージェントパス計画を提案する。
我々は、長距離ナビゲーションタスクを、グローバルプランナーの指導の下で、より簡単なサブタスクに分解する。
提案手法は,イメージベース表現を用いて動的障害物の挙動をモデル化し,均質性の仮定を伴わない混合動的環境におけるポリシーを訓練する。
論文 参考訳(メタデータ) (2020-07-30T20:14:42Z) - Model-based Reinforcement Learning for Decentralized Multiagent
Rendezvous [66.6895109554163]
目標を他のエージェントと整合させる人間の能力の下にあるのは、他人の意図を予測し、自分たちの計画を積極的に更新する能力である。
分散型マルチエージェントレンデブーのためのモデルに基づく強化学習手法である階層型予測計画(HPP)を提案する。
論文 参考訳(メタデータ) (2020-03-15T19:49:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。