論文の概要: VMAS: A Vectorized Multi-Agent Simulator for Collective Robot Learning
- arxiv url: http://arxiv.org/abs/2207.03530v1
- Date: Thu, 7 Jul 2022 18:48:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-11 14:54:17.306368
- Title: VMAS: A Vectorized Multi-Agent Simulator for Collective Robot Learning
- Title（参考訳）: VMAS: 集合ロボット学習のためのベクトル型マルチエージェントシミュレータ
- Authors: Matteo Bettini, Ryan Kortvelesy, Jan Blumenkamp, Amanda Prorok
- Abstract要約: ロボットコミュニティでは,MARL(Multi-Agent Reinforcement Learning)が注目されている。
ベクトル化マルチエージェントシミュレータ(VMAS)を紹介する。
VMASは、効率的なMARLベンチマークのために設計されたオープンソースのフレームワークである。
- 参考スコア（独自算出の注目度）: 6.614755043607777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While many multi-robot coordination problems can be solved optimally by exact
algorithms, solutions are often not scalable in the number of robots.
Multi-Agent Reinforcement Learning (MARL) is gaining increasing attention in
the robotics community as a promising solution to tackle such problems.
Nevertheless, we still lack the tools that allow us to quickly and efficiently
find solutions to large-scale collective learning tasks. In this work, we
introduce the Vectorized Multi-Agent Simulator (VMAS). VMAS is an open-source
framework designed for efficient MARL benchmarking. It is comprised of a
vectorized 2D physics engine written in PyTorch and a set of twelve challenging
multi-robot scenarios. Additional scenarios can be implemented through a simple
and modular interface. We demonstrate how vectorization enables parallel
simulation on accelerated hardware without added complexity. When comparing
VMAS to OpenAI MPE, we show how MPE's execution time increases linearly in the
number of simulations while VMAS is able to execute 30,000 parallel simulations
in under 10s, proving more than 100x faster. Using VMAS's RLlib interface, we
benchmark our multi-robot scenarios using various Proximal Policy Optimization
(PPO)-based MARL algorithms. VMAS's scenarios prove challenging in orthogonal
ways for state-of-the-art MARL algorithms. The VMAS framework is available at
https://github.com/proroklab/VectorizedMultiAgentSimulator. A video of VMAS
scenarios and experiments is available at
https://youtu.be/aaDRYfiesAY}{here}\footnote{\url{https://youtu.be/aaDRYfiesAY.
- Abstract（参考訳）: 多くのマルチロボット調整問題は正確なアルゴリズムで最適に解けるが、解はしばしばロボットの数でスケーラブルではない。
マルチエージェント強化学習(marl)は,このような課題に取り組むための有望なソリューションとして,ロボティクスコミュニティの注目を集めている。
それでもなお,大規模な集団学習タスクのソリューションを迅速かつ効率的に見つけるためのツールが不足しています。
本稿では,VMAS(Vectorized Multi-Agent Simulator)を紹介する。
VMASは、効率的なMARLベンチマークのために設計されたオープンソースのフレームワークである。
PyTorchで書かれたベクトル化された2D物理エンジンと、12の挑戦的なマルチロボットシナリオからなる。
追加のシナリオは、シンプルでモジュール化されたインターフェイスで実装できる。
我々は,ベクトル化が複雑化することなく,高速化ハードウェア上で並列シミュレーションを実現する方法を示した。
VMASとOpenAI MPEを比較すると、VMASは10秒未満で3万の並列シミュレーションを実行でき、100倍以上高速であるのに対して、MPEの実行時間がシミュレーション数で線形に増加することを示す。
VMASのRLlibインタフェースを用いて、PPO(Proximal Policy Optimization)ベースのMARLアルゴリズムを用いて、マルチロボットシナリオをベンチマークする。
VMASのシナリオは、最先端のMARLアルゴリズムの直交的な方法では困難である。
vmasフレームワークはhttps://github.com/proroklab/vectorized multiagentsimulatorで利用可能である。
VMASのシナリオと実験のビデオはhttps://youtu.be/aaDRYfiesAY}{here}\footnote{\url{https://youtu.be/aaDRYfiesAYで公開されている。
関連論文リスト
- Synthesizing Post-Training Data for LLMs through Multi-Agent Simulation [48.17611255751571]
ポストトレーニングは、大きな言語モデルが人間の指示に従うことを可能にするために不可欠である。
マルチエージェントシミュレーションを利用して、さまざまなテキストベースのシナリオを自動的に生成する。
本稿では,シナリオ駆動型命令生成器MATRIX-Genを提案する。
論文 参考訳（メタデータ） (2024-10-18T08:01:39Z) - GPUDrive: Data-driven, multi-agent driving simulation at 1 million FPS [4.172988187048097]
GPUDriveはMadrona Engine Game上に構築されたGPUアクセラレーションされたマルチエージェントシミュレータである。
我々はGPUDriveを使うことで、Open Motionデータセットの多くのシーンで強化学習エージェントを効果的に訓練できることを示した。
論文 参考訳（メタデータ） (2024-08-02T21:37:46Z) - Distributed Inference and Fine-tuning of Large Language Models Over The
Internet [91.00270820533272]
大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。
これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。
本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
論文 参考訳（メタデータ） (2023-12-13T18:52:49Z) - JaxMARL: Multi-Agent RL Environments and Algorithms in JAX [105.343918678781]
我々は、GPU対応の効率と多くの一般的なMARL環境のサポートを組み合わせた、最初のオープンソースPythonベースのライブラリであるJaxMARLを紹介します。
我々の実験は、壁時計時間の観点から、JAXベースのトレーニングパイプラインが既存のアプローチの約14倍高速であることを示している。
また、人気の高いStarCraft Multi-Agent ChallengeのJAXベースの近似的な再実装であるSMAXを紹介し、ベンチマークする。
論文 参考訳（メタデータ） (2023-11-16T18:58:43Z) - VIMA: General Robot Manipulation with Multimodal Prompts [82.01214865117637]
ロボット操作タスクの幅広い範囲をマルチモーダルプロンプトで表現できることを示す。
我々は,数千の手続き的に生成されたテーブルトップタスクからなる新しいシミュレーションベンチマークを開発した。
我々は、これらのプロンプトを処理し、自動回帰的に運動動作を出力するトランスフォーマーベースのロボットエージェントVIMAを設計する。
論文 参考訳（メタデータ） (2022-10-06T17:50:11Z) - Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。
本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
論文 参考訳（メタデータ） (2022-07-09T09:14:12Z) - From Multi-agent to Multi-robot: A Scalable Training and Evaluation
Platform for Multi-robot Reinforcement Learning [12.74238738538799]
マルチエージェント強化学習(MARL)は、過去数十年間、学術や産業から広く注目を集めてきた。
これらの手法が実際のシナリオ、特にマルチロボットシステムでどのように機能するかは未だ分かっていない。
本稿では,マルチロボット強化学習(MRRL)のためのスケーラブルなエミュレーションプラットフォームSMARTを提案する。
論文 参考訳（メタデータ） (2022-06-20T06:36:45Z) - WarpDrive: Extremely Fast End-to-End Deep Multi-Agent Reinforcement
Learning on a GPU [15.337470862838794]
我々は、単一のGPU上でエンドツーエンドのマルチエージェントRLを実装する、柔軟で軽量で使いやすいオープンソースのRLフレームワークであるWarpDriveを紹介します。
我々の設計ではシミュレーションとエージェントを並列に実行し、GPU上に1つのシミュレーションデータストアを配置して安全に更新する。
WarpDriveは、ベンチマークTagシミュレーションにおいて、2000の環境と1000のエージェント(CPU実装と比べて少なくとも100倍高いスループット)で290万の環境ステップ/秒を生成する。
論文 参考訳（メタデータ） (2021-08-31T16:59:27Z) - Accelerating SLIDE Deep Learning on Modern CPUs: Vectorization,
Quantizations, Memory Optimizations, and More [26.748770505062378]
SLIDEはスパースハッシュテーブルベースのバックプロパゲーションのC++実装である。
SLIDE の計算によって AVX (Advanced Vector Extensions-512) によるベクトル化が可能となることを示す。
我々の実験は、大規模(数百万のパラメータ)のレコメンデーションとNLPモデルに焦点を当てている。
論文 参考訳（メタデータ） (2021-03-06T02:13:43Z) - MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical
Models [96.1052289276254]
この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。
驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
論文 参考訳（メタデータ） (2020-04-16T16:20:53Z) - Implementing a GPU-based parallel MAX-MIN Ant System [0.0]
我々はGPUベースの並列MMASの実装を改善するための新しいアイデアについて論じる。
MMAS実装は、最先端のGPUベースおよびマルチコアCPUベースの並列ACO実装と競合することを示す。
論文 参考訳（メタデータ） (2020-01-18T14:18:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。