論文の概要: MARLlib: Extending RLlib for Multi-agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2210.13708v1
- Date: Tue, 11 Oct 2022 03:11:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-30 12:10:38.437938
- Title: MARLlib: Extending RLlib for Multi-agent Reinforcement Learning
- Title（参考訳）: MARLlib:マルチエージェント強化学習のための拡張RLlib
- Authors: Siyi Hu, Yifan Zhong, Minquan Gao, Weixun Wang, Hao Dong, Zhihui Li,
Xiaodan Liang, Xiaojun Chang, Yaodong Yang
- Abstract要約: MARLlib(Multi-Agent RLlib)は、マルチエージェント問題を解決するための総合的なMARLアルゴリズムライブラリである。
エージェントレベルの分散データフローの新しい設計により、MARLlibは数十のアルゴリズムを統一する。
MARLlibは、多様な環境インターフェースを統合し、フレキシブルなパラメータ共有戦略を提供することによって、現在の作業を超えています。
- 参考スコア（独自算出の注目度）: 89.04007436255493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the fast development of multi-agent reinforcement learning (MARL)
methods, there is a lack of commonly-acknowledged baseline implementation and
evaluation platforms. As a result, an urgent need for MARL researchers is to
develop an integrated library suite, similar to the role of RLlib in
single-agent RL, that delivers reliable MARL implementation and replicable
evaluation in various benchmarks. To fill such a research gap, in this paper,
we propose Multi-Agent RLlib (MARLlib), a comprehensive MARL algorithm library
that facilitates RLlib for solving multi-agent problems. With a novel design of
agent-level distributed dataflow, MARLlib manages to unify tens of algorithms,
including different types of independent learning, centralized critic, and
value decomposition methods; this leads to a highly composable integration of
MARL algorithms that are not possible to unify before. Furthermore, MARLlib
goes beyond current work by integrating diverse environment interfaces and
providing flexible parameter sharing strategies; this allows to create
versatile solutions to cooperative, competitive, and mixed tasks with minimal
code modifications for end users. A plethora of experiments are conducted to
substantiate the correctness of our implementation, based on which we further
derive new insights on the relationship between the performance and the design
of algorithmic components. With MARLlib, we expect researchers to be able to
tackle broader real-world multi-agent problems with trustworthy solutions. Our
code\footnote{\url{https://github.com/Replicable-MARL/MARLlib}} and
documentation\footnote{\url{https://marllib.readthedocs.io/}} are released for
reference.
- Abstract（参考訳）: マルチエージェント強化学習(MARL)手法の急速な開発にもかかわらず、一般に認められたベースライン実装と評価プラットフォームが欠如している。
結果として、MARL研究者は、信頼性の高いMARL実装と様々なベンチマークで再現可能な評価を提供するシングルエージェントRLにおけるRLlibの役割に似た統合ライブラリスイートを開発する必要がある。
このような研究ギャップを埋めるために,本稿ではマルチエージェント問題を解くためにRLlibを容易にする総合的なMARLアルゴリズムライブラリであるMARLlib(Multi-Agent RLlib)を提案する。
エージェントレベルの分散データフローの新たな設計により、MARLlibは、異なるタイプの独立学習、集中型批評家、価値分解メソッドを含む数十のアルゴリズムを統一することに成功した。
さらに、MARLlibは多様な環境インターフェースを統合し、フレキシブルなパラメータ共有戦略を提供することによって、現在の作業を超えています。
アルゴリズムコンポーネントの性能と設計との関係に関する新たな知見をさらに導き出すため,実装の正しさを裏付ける実験が多数実施されている。
MARLlibでは、研究者が信頼できるソリューションで、より広範な現実世界のマルチエージェント問題に対処できることを期待しています。
私たちのcode\footnote{\url{https://github.com/Replicable-MARL/MARLlib}} と documentation\footnote{\url{https://marllib.readthedocs.io/}} は参照のためにリリースされています。
関連論文リスト
- Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。
モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。
ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
論文 参考訳（メタデータ） (2024-05-18T03:02:23Z) - BenchMARL: Benchmarking Multi-Agent Reinforcement Learning [8.130948896195878]
BenchMARLは、さまざまなアルゴリズム、モデル、環境をまたいで標準化されたベンチマークを可能にする最初のトレーニングライブラリである。
BenchMARLはTorchRLをバックエンドとして使用し、高いパフォーマンスと最先端の実装を維持できる。
論文 参考訳（メタデータ） (2023-12-03T18:15:58Z) - SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。
それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。
私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
論文 参考訳（メタデータ） (2023-04-21T10:00:22Z) - Scalable Multi-Agent Reinforcement Learning through Intelligent
Information Aggregation [6.09506921406322]
本稿では,局所的情報を用いてエージェントの経路を分散的に計算するマルチエージェント強化学習(MARL)のための新しいアーキテクチャを提案する。
InforMARLは、アクターと批評家の両方のエージェントの局所的な近傍に関する情報をグラフニューラルネットワークを使用して集約し、標準的なMARLアルゴリズムと併用することができる。
論文 参考訳（メタデータ） (2022-11-03T20:02:45Z) - Multi-agent Deep Covering Skill Discovery [50.812414209206054]
本稿では,複数エージェントの結合状態空間の予測被覆時間を最小化し,マルチエージェントオプションを構築するマルチエージェントDeep Covering Option Discoveryを提案する。
また、MARLプロセスにマルチエージェントオプションを採用するための新しいフレームワークを提案する。
提案アルゴリズムは,アテンション機構とエージェントの相互作用を効果的に把握し,マルチエージェントオプションの同定に成功した。
論文 参考訳（メタデータ） (2022-10-07T00:40:59Z) - MALib: A Parallel Framework for Population-based Multi-agent
Reinforcement Learning [61.28547338576706]
人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。
PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
論文 参考訳（メタデータ） (2021-06-05T03:27:08Z) - MBRL-Lib: A Modular Library for Model-based Reinforcement Learning [13.467075854633213]
PyTorchに基づく継続的ステートアクション空間におけるモデルベースの強化学習のための機械学習ライブラリであるMBRL-Libを紹介した。
研究者の双方にとって、新しいアルゴリズムを簡単に開発、デバッグ、比較し、専門家でないユーザーと組み合わせて、最先端のアルゴリズムのデプロイのエントリーバーを低くするプラットフォームとして設計されている。
論文 参考訳（メタデータ） (2021-04-20T17:58:22Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳（メタデータ） (2020-04-17T14:56:29Z) - MARLeME: A Multi-Agent Reinforcement Learning Model Extraction Library [0.43830114853179497]
記号モデルは高い解釈可能性、明確に定義された性質、検証可能な振る舞いを提供する。
それらは、基礎となるMARLシステムと対応するMARLエージェントを検査し、よりよく理解するために使用できる。
論文 参考訳（メタデータ） (2020-04-16T20:27:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。