論文の概要: An Extended Benchmarking of Multi-Agent Reinforcement Learning Algorithms in Complex Fully Cooperative Tasks

• arxiv url: http://arxiv.org/abs/2502.04773v1
• Date: Fri, 07 Feb 2025 09:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:56:06.501068
• Title: An Extended Benchmarking of Multi-Agent Reinforcement Learning Algorithms in Complex Fully Cooperative Tasks
• Title（参考訳）: 複合協調作業におけるマルチエージェント強化学習アルゴリズムの拡張ベンチマーク
• Authors: George Papadopoulos, Andreas Kontogiannis, Foteini Papadopoulou, Chaido Poulianou, Ioannis Koumentis, George Vouros,
• Abstract要約: MARL(Multi-Agent Reinforcement Learning)は近年,重要な研究分野として注目されている。 MARLの評価は、しばしば体系的な多様性を欠き、アルゴリズムの能力の包括的な理解を妨げる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Multi-Agent Reinforcement Learning (MARL) has recently emerged as a significant area of research. However, MARL evaluation often lacks systematic diversity, hindering a comprehensive understanding of algorithms' capabilities. In particular, cooperative MARL algorithms are predominantly evaluated on benchmarks such as SMAC and GRF, which primarily feature team game scenarios without assessing adequately various aspects of agents' capabilities required in fully cooperative real-world tasks such as multi-robot cooperation and warehouse, resource management, search and rescue, and human-AI cooperation. Moreover, MARL algorithms are mainly evaluated on low dimensional state spaces, and thus their performance on high-dimensional (e.g., image) observations is not well-studied. To fill this gap, this paper highlights the crucial need for expanding systematic evaluation across a wider array of existing benchmarks. To this end, we conduct extensive evaluation and comparisons of well-known MARL algorithms on complex fully cooperative benchmarks, including tasks with images as agents' observations. Interestingly, our analysis shows that many algorithms, hailed as state-of-the-art on SMAC and GRF, may underperform standard MARL baselines on fully cooperative benchmarks. Finally, towards more systematic and better evaluation of cooperative MARL algorithms, we have open-sourced PyMARLzoo+, an extension of the widely used (E)PyMARL libraries, which addresses an open challenge from [TBG++21], facilitating seamless integration and support with all benchmarks of PettingZoo, as well as Overcooked, PressurePlate, Capture Target and Box Pushing.
• Abstract（参考訳）: MARL(Multi-Agent Reinforcement Learning)は近年,重要な研究分野として注目されている。 しかし、MARLの評価は、しばしば体系的な多様性を欠き、アルゴリズムの能力を包括的に理解するのを妨げる。 特に、協調的なMARLアルゴリズムは、主にSMACやGRFのようなベンチマークで評価され、マルチロボットの協調や倉庫、資源管理、探索と救助、人間とAIの協力など、完全に協調的な現実世界のタスクに必要なエージェントの能力の様々な側面を適切に評価することなく、主にチームゲームシナリオを特徴付ける。 さらに、MARLアルゴリズムは、主に低次元状態空間で評価され、高次元(例えば、画像)の観測性能はよく研究されていない。 このギャップを埋めるために、この論文は、既存のベンチマークのより広い範囲で体系的な評価を拡張するための重要な必要性を強調します。 この目的のために、複雑な完全協調型ベンチマークでよく知られたMARLアルゴリズムの広範囲な評価と比較を行い、画像を含むタスクをエージェントの観察対象とする。 興味深いことに、SMAC と GRF で最先端と評価された多くのアルゴリズムが、完全に協調したベンチマーク上で標準的な MARL ベースラインを過小評価している可能性がある。 最後に、協調MARLアルゴリズムのより体系的でより良い評価に向けて、広く使われている(E)PyMARLライブラリの拡張であるPyMARLzoo+をオープンソース化した。これは[TBG++21]からのオープンな課題に対処し、PettingZooのすべてのベンチマークとOvercooked、SciencePlate、Capture Target、Box Pushingのシームレスな統合とサポートを容易にする。

関連論文リスト

• O-MAPL: Offline Multi-agent Preference Learning [5.4482836906033585]
  実演から報酬関数を推定することは強化学習(RL)の重要な課題である 協調型MARLのためのエンドツーエンドの嗜好に基づく新しい学習フレームワークを提案する。 我々のアルゴリズムは様々なタスクにまたがって既存の手法より優れている。
  論文  参考訳（メタデータ） (2025-01-31T08:08:20Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
  主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。 このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
  論文  参考訳（メタデータ） (2024-07-20T16:37:21Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• IM-IAD: Industrial Image Anomaly Detection Benchmark in Manufacturing [88.35145788575348]
  画像異常検出(英: Image Anomaly Detection、IAD)は、産業用コンピュータビジョンの課題である。 統一IMベンチマークの欠如は、現実世界のアプリケーションにおけるIADメソッドの開発と利用を妨げる。 7つの主要なデータセットに19のアルゴリズムを含む包括的画像異常検出ベンチマーク(IM-IAD)を構築した。
  論文  参考訳（メタデータ） (2023-01-31T01:24:45Z)
• Heterogeneous-Agent Mirror Learning: A Continuum of Solutions to Cooperative MARL [10.681450002239355]
  Heterogeneous-Agent Mirror Learning (HAML)は、MARLアルゴリズム設計のための一般的なテンプレートを提供する。 HAMLテンプレートから得られたアルゴリズムが,関節報酬の単調改善の望ましい特性を満たすことを証明した。 本稿では,2つの有名なRLアルゴリズムであるHAA2C(A2C)とHADDPG(DDPG)のHAML拡張を提案する。
  論文  参考訳（メタデータ） (2022-08-02T18:16:42Z)
• Revisiting Some Common Practices in Cooperative Multi-Agent Reinforcement Learning [11.91425153754564]
  高いマルチモーダルな報酬ランドスケープ、価値分解、パラメータ共有が問題になり、望ましくない結果をもたらす可能性があることを示す。 対照的に、個々のポリシーを持つポリシー勾配(PG)法は、これらの場合において最適解に確実に収束する。 本稿では,多エージェントPGアルゴリズムの実装に関する実践的提案を行う。
  論文  参考訳（メタデータ） (2022-06-15T13:03:05Z)
• The Multi-Agent Pickup and Delivery Problem: MAPF, MARL and Its Warehouse Applications [2.969705152497174]
  マルチエージェントピックアップおよび配送問題に対する2つの最先端ソリューションを,異なる原理に基づいて検討した。 具体的には、コンフリクトベースサーチ(CBS)と呼ばれるMAPFアルゴリズムと、共有経験アクター批判(SEAC)と呼ばれる現在のMARLアルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2022-03-14T13:23:35Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks [11.480994804659908]
  マルチエージェント深部強化学習(MARL)は、一般的に使われている評価課題や基準の欠如に悩まされている。 我々は,MARLアルゴリズムの3つのクラスを体系的に評価し,比較する。 我々の実験は、異なる学習課題におけるアルゴリズムの期待性能の基準として機能する。
  論文  参考訳（メタデータ） (2020-06-14T11:22:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。