論文の概要: Mava: a research library for distributed multi-agent reinforcement
learning in JAX
- arxiv url: http://arxiv.org/abs/2107.01460v2
- Date: Fri, 15 Dec 2023 16:29:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 20:05:57.382376
- Title: Mava: a research library for distributed multi-agent reinforcement
learning in JAX
- Title(参考訳): mava: jax における分散マルチエージェント強化学習のための研究ライブラリ
- Authors: Ruan de Kock, Omayma Mahjoub, Sasha Abramowitz, Wiem Khlifi, Callum
Rhys Tilbury, Claude Formanek, Andries Smit, Arnu Pretorius
- Abstract要約: マルチエージェント強化学習(MARL)の研究は本質的に計算コストが高い。
MARLアルゴリズムは一般に設計が複雑であり、正しく実装することが難しい。
JAXで書かれたMARLのための研究ライブラリであるMavaを紹介します。
- 参考スコア(独自算出の注目度): 3.982217060857927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent reinforcement learning (MARL) research is inherently
computationally expensive and it is often difficult to obtain a sufficient
number of experiment samples to test hypotheses and make robust statistical
claims. Furthermore, MARL algorithms are typically complex in their design and
can be tricky to implement correctly. These aspects of MARL present a difficult
challenge when it comes to creating useful software for advanced research. Our
criteria for such software is that it should be simple enough to use to
implement new ideas quickly, while at the same time be scalable and fast enough
to test those ideas in a reasonable amount of time. In this preliminary
technical report, we introduce Mava, a research library for MARL written purely
in JAX, that aims to fulfill these criteria. We discuss the design and core
features of Mava, and demonstrate its use and performance across a variety of
environments. In particular, we show Mava's substantial speed advantage, with
improvements of 10-100x compared to other popular MARL frameworks, while
maintaining strong performance. This allows for researchers to test ideas in a
few minutes instead of several hours. Finally, Mava forms part of an ecosystem
of libraries that seamlessly integrate with each other to help facilitate
advanced research in MARL. We hope Mava will benefit the community and help
drive scientifically sound and statistically robust research in the field. The
open-source repository for Mava is available at
https://github.com/instadeepai/Mava.
- Abstract(参考訳): マルチエージェント強化学習(MARL)の研究は本質的に計算コストが高く、仮説を検証し、統計的に堅牢な主張を行うのに十分な数の実験サンプルを得るのは難しい。
さらに、marlアルゴリズムは一般的にその設計において複雑であり、正しく実装するのは難しい。
MARLのこれらの側面は、先進的な研究に有用なソフトウェアを開発する上で難しい課題である。
このようなソフトウェアに対する私たちの基準は、新しいアイデアを素早く実装するのに十分なシンプルさと、それらのアイデアを妥当な時間でテストできるほどスケーラブルで高速であるべきだということです。
この予備的技術報告では、jaxで書かれたmarlのための研究ライブラリであるmavaを紹介し、これらの基準を満たそうとしている。
我々は,Mavaの設計とコア機能について論じ,その利用と性能を様々な環境で実証する。
特に、他の人気のあるMARLフレームワークと比較して10~100倍改善され、高いパフォーマンスを維持しながら、Mavaの大幅な速度優位性を示す。
これにより、研究者は数時間ではなく数分でアイデアをテストできる。
最後に、MavaはMARLの高度な研究を促進するために、シームレスに統合されるライブラリのエコシステムの一部を形成する。
mavaがコミュニティに利益をもたらし、この分野における科学的に健全で統計的に堅牢な研究を推進することを願っている。
mavaのオープンソースリポジトリはhttps://github.com/instadeepai/mavaで入手できる。
関連論文リスト
- Mini Honor of Kings: A Lightweight Environment for Multi-Agent Reinforcement Learning [47.06486281116165]
ゲームはマルチエージェント強化学習(MARL)の研究環境として広く利用されている
人気のモバイルゲーム「Honor of Kings」用の地図エディタを初めて公開し、軽量環境「Mini HoK」を設計する。
Mini HoKは非常に効率的で、実験をパーソナルPCやラップトップ上で行うことができるが、既存のMARLアルゴリズムには十分な課題がある。
論文 参考訳(メタデータ) (2024-06-06T11:42:33Z) - BenchMARL: Benchmarking Multi-Agent Reinforcement Learning [8.130948896195878]
BenchMARLは、さまざまなアルゴリズム、モデル、環境をまたいで標準化されたベンチマークを可能にする最初のトレーニングライブラリである。
BenchMARLはTorchRLをバックエンドとして使用し、高いパフォーマンスと最先端の実装を維持できる。
論文 参考訳(メタデータ) (2023-12-03T18:15:58Z) - JaxMARL: Multi-Agent RL Environments and Algorithms in JAX [105.343918678781]
我々は、GPU対応の効率と多くの一般的なMARL環境のサポートを組み合わせた、最初のオープンソースPythonベースのライブラリであるJaxMARLを紹介します。
我々の実験は、壁時計時間の観点から、JAXベースのトレーニングパイプラインが既存のアプローチの約14倍高速であることを示している。
また、人気の高いStarCraft Multi-Agent ChallengeのJAXベースの近似的な再実装であるSMAXを紹介し、ベンチマークする。
論文 参考訳(メタデータ) (2023-11-16T18:58:43Z) - MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。
本稿では,MLLM 評価ベンチマーク MME について述べる。
知覚能力と認知能力の両方を合計14のサブタスクで測定する。
論文 参考訳(メタデータ) (2023-06-23T09:22:36Z) - MARLlib: A Scalable and Efficient Multi-agent Reinforcement Learning
Library [82.77446613763809]
本稿では,マルチエージェントタスクとアルゴリズムの組み合わせを高速に開発するためのライブラリであるMARLlibを紹介する。
MARLlibは、マルチエージェントタスクとアルゴリズムの学習過程を効果的に切り離すことができる。
ライブラリのソースコードはGitHubで公開されている。
論文 参考訳(メタデータ) (2022-10-11T03:11:12Z) - Towards a Standardised Performance Evaluation Protocol for Cooperative
MARL [2.2977300225306583]
マルチエージェント強化学習(MARL)は,分散型意思決定問題を大規模に解く上で有用な手法である。
本研究は,MARLにおける大規模研究機関にまたがる評価手法に焦点をあてて,この迅速な開発についてより詳しく考察する。
協調型MARLのための標準化された性能評価プロトコルを提案する。
論文 参考訳(メタデータ) (2022-09-21T16:40:03Z) - Benchopt: Reproducible, efficient and collaborative optimization
benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文 参考訳(メタデータ) (2022-06-27T16:19:24Z) - From Multi-agent to Multi-robot: A Scalable Training and Evaluation
Platform for Multi-robot Reinforcement Learning [12.74238738538799]
マルチエージェント強化学習(MARL)は、過去数十年間、学術や産業から広く注目を集めてきた。
これらの手法が実際のシナリオ、特にマルチロボットシステムでどのように機能するかは未だ分かっていない。
本稿では,マルチロボット強化学習(MRRL)のためのスケーラブルなエミュレーションプラットフォームSMARTを提案する。
論文 参考訳(メタデータ) (2022-06-20T06:36:45Z) - Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and
Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。
既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。
本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-09T08:47:58Z) - FedML: A Research Library and Benchmark for Federated Machine Learning [55.09054608875831]
フェデレート・ラーニング(Federated Learning, FL)は、機械学習の分野で急速に成長している研究分野である。
既存のFLライブラリは多様なアルゴリズム開発を適切にサポートできない。
FLアルゴリズムの開発と公正な性能比較を容易にするための,オープンな研究ライブラリとベンチマークであるFedMLを紹介する。
論文 参考訳(メタデータ) (2020-07-27T13:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。