論文の概要: Mix-ME: Quality-Diversity for Multi-Agent Learning
- arxiv url: http://arxiv.org/abs/2311.01829v1
- Date: Fri, 3 Nov 2023 10:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 14:38:04.422823
- Title: Mix-ME: Quality-Diversity for Multi-Agent Learning
- Title(参考訳): Mix-ME:マルチエージェント学習のための品質多様性
- Authors: Gar{\dh}ar Ingvarsson, Mikayel Samvelyan, Bryan Lim, Manon Flageat,
Antoine Cully, Tim Rockt\"aschel
- Abstract要約: 人気のMAP-Elitesアルゴリズムのマルチエージェント版であるMix-MEを紹介する。
提案手法は,可観測性のある連続制御タスクの多種多様について評価する。
- 参考スコア(独自算出の注目度): 11.130914000431353
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many real-world systems, such as adaptive robotics, achieving a single,
optimised solution may be insufficient. Instead, a diverse set of
high-performing solutions is often required to adapt to varying contexts and
requirements. This is the realm of Quality-Diversity (QD), which aims to
discover a collection of high-performing solutions, each with their own unique
characteristics. QD methods have recently seen success in many domains,
including robotics, where they have been used to discover damage-adaptive
locomotion controllers. However, most existing work has focused on single-agent
settings, despite many tasks of interest being multi-agent. To this end, we
introduce Mix-ME, a novel multi-agent variant of the popular MAP-Elites
algorithm that forms new solutions using a crossover-like operator by mixing
together agents from different teams. We evaluate the proposed methods on a
variety of partially observable continuous control tasks. Our evaluation shows
that these multi-agent variants obtained by Mix-ME not only compete with
single-agent baselines but also often outperform them in multi-agent settings
under partial observability.
- Abstract(参考訳): 適応ロボットのような現実世界のシステムでは、単一の最適化されたソリューションを達成することは不十分である。
代わりに、さまざまなコンテキストや要求に適応するために、多種多様なハイパフォーマンスなソリューションセットがしばしば必要となる。
これはQD(Quality-Diversity)の領域であり、それぞれ独自の特徴を持つハイパフォーマンスなソリューションの集合を見つけることを目的としている。
QD法は最近、ロボット工学を含む多くの領域で成功し、損傷適応型移動制御器の発見に使われている。
しかし、既存の作業の多くはマルチエージェントであるにもかかわらず、シングルエージェントの設定に重点を置いている。
そこで本研究では,異なるチームのエージェントを混在させて,クロスオーバーのような演算子を用いて新しい解を生成するMAP-Elitesアルゴリズムのマルチエージェント版であるMix-MEを紹介する。
提案手法は,観測可能な連続制御タスクの多種多様について評価する。
評価の結果,Mix-MEが取得したマルチエージェント変種は,単一エージェントベースラインと競合するだけでなく,部分観測可能条件下でのマルチエージェント設定でも優れていた。
関連論文リスト
- Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation
Learning [13.060023718506917]
模倣学習(英: mimicion learning, IL)は、協調型マルチエージェントシステムにおける実証から専門家の行動を模倣する学習の課題である。
本稿では,これらの課題に対処する新しいマルチエージェントILアルゴリズムを提案する。
本手法は,分散Q関数の集約に混在するネットワークを活用することで,集中学習を実現する。
論文 参考訳(メタデータ) (2023-10-10T17:11:20Z) - AutoAgents: A Framework for Automatic Agent Generation [30.6362151885679]
AutoAgentsは、さまざまなタスクに応じてAIチームを構築するために、複数の専門エージェントを適応的に生成し、コーディネートする革新的なフレームワークである。
各種ベンチマーク実験により,AutoAgentsは既存のマルチエージェント手法よりも一貫性と正確な解を生成することが示された。
論文 参考訳(メタデータ) (2023-09-29T14:46:30Z) - Heterogeneous Embodied Multi-Agent Collaboration [21.364827833498254]
不均一なマルチエージェントタスクは現実世界のシナリオでは一般的である。
本稿では,複数の異種エージェントが協調して異種物体を検出し,適切な位置に配置する異種マルチエージェント・タイピング・アップタスクを提案する。
本稿では, 乱れ検出に基づく階層的決定モデル, 合理的な受容器予測, およびハンドシェイクに基づくグループ通信機構を提案する。
論文 参考訳(メタデータ) (2023-07-26T04:33:05Z) - MADiff: Offline Multi-agent Learning with Diffusion Models [82.59166059130702]
拡散モデル(DM)は,最近オフライン強化学習を含む様々なシナリオで大きな成功を収めている。
この問題に対処する新しい生成型マルチエージェント学習フレームワークであるMADiffを提案する。
本実験は,マルチエージェント学習タスクにおけるベースラインアルゴリズムと比較して,MADiffの優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-27T02:14:09Z) - On the Complexity of Multi-Agent Decision Making: From Learning in Games
to Partial Monitoring [105.13668993076801]
マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。
本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。
マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
論文 参考訳(メタデータ) (2023-05-01T06:46:22Z) - Learning From Good Trajectories in Offline Multi-Agent Reinforcement
Learning [98.07495732562654]
オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。
オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。
この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-28T18:11:26Z) - Multi-agent Deep Covering Skill Discovery [50.812414209206054]
本稿では,複数エージェントの結合状態空間の予測被覆時間を最小化し,マルチエージェントオプションを構築するマルチエージェントDeep Covering Option Discoveryを提案する。
また、MARLプロセスにマルチエージェントオプションを採用するための新しいフレームワークを提案する。
提案アルゴリズムは,アテンション機構とエージェントの相互作用を効果的に把握し,マルチエージェントオプションの同定に成功した。
論文 参考訳(メタデータ) (2022-10-07T00:40:59Z) - Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent
RL [107.58821842920393]
我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する
MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。
分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2022-06-01T04:58:52Z) - Non-cooperative Multi-agent Systems with Exploring Agents [10.736626320566707]
マルコフゲームを用いたマルチエージェント動作の規範モデルを開発した。
エージェントが探索するが、最適戦略に近い」モデルに焦点を当てる。
論文 参考訳(メタデータ) (2020-05-25T19:34:29Z) - FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。
離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。
我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
論文 参考訳(メタデータ) (2020-03-14T21:29:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。