論文の概要: ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI
- arxiv url: http://arxiv.org/abs/2410.00425v1
- Date: Tue, 1 Oct 2024 06:10:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 05:46:46.158315
- Title: ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI
- Title（参考訳）: ManiSkill3: 汎用エンボダイドAIのためのGPU並列ロボットシミュレーションとレンダリング
- Authors: Stone Tao, Fanbo Xiang, Arth Shukla, Yuzhe Qin, Xander Hinrichsen, Xiaodi Yuan, Chen Bao, Xinsong Lin, Yulin Liu, Tse-kai Chan, Yuan Gao, Xuanlin Li, Tongzhou Mu, Nan Xiao, Arnav Gurha, Zhiao Huang, Roberto Calandra, Rui Chen, Shan Luo, Hao Su,
- Abstract要約: ManiSkill3は、汎用的な操作をターゲットとしたコンタクトリッチな物理を備えた、最先端のGPU並列化ロボットシミュレータである。
ManiSkill3は、シミュレーション+レンダリング、異種シミュレーション、ポイントクラウド/ボクセルビジュアル入力など、多くの面でGPU並列化をサポートしている。
- 参考スコア（独自算出の注目度）: 27.00155119759743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simulation has enabled unprecedented compute-scalable approaches to robot learning. However, many existing simulation frameworks typically support a narrow range of scenes/tasks and lack features critical for scaling generalizable robotics and sim2real. We introduce and open source ManiSkill3, the fastest state-visual GPU parallelized robotics simulator with contact-rich physics targeting generalizable manipulation. ManiSkill3 supports GPU parallelization of many aspects including simulation+rendering, heterogeneous simulation, pointclouds/voxels visual input, and more. Simulation with rendering on ManiSkill3 can run 10-1000x faster with 2-3x less GPU memory usage than other platforms, achieving up to 30,000+ FPS in benchmarked environments due to minimal python/pytorch overhead in the system, simulation on the GPU, and the use of the SAPIEN parallel rendering system. Tasks that used to take hours to train can now take minutes. We further provide the most comprehensive range of GPU parallelized environments/tasks spanning 12 distinct domains including but not limited to mobile manipulation for tasks such as drawing, humanoids, and dextrous manipulation in realistic scenes designed by artists or real-world digital twins. In addition, millions of demonstration frames are provided from motion planning, RL, and teleoperation. ManiSkill3 also provides a comprehensive set of baselines that span popular RL and learning-from-demonstrations algorithms.
- Abstract（参考訳）: シミュレーションは、ロボット学習に対する前例のない計算計算可能なアプローチを可能にした。
しかし、多くの既存のシミュレーションフレームワークは、通常、限られたシーン/タスクをサポートし、一般化可能なロボティクスやsim2realのスケーリングに欠如している。
ManiSkill3は、汎用的な操作をターゲットとしたコンタクトリッチな物理を備えた、最先端のGPU並列化ロボットシミュレータである。
ManiSkill3は、シミュレーション+レンダリング、異種シミュレーション、ポイントクラウド/ボクセルビジュアル入力など、多くの面でGPU並列化をサポートしている。
ManiSkill3のレンダリングによるシミュレーションは、他のプラットフォームよりも2～3倍少ないGPUメモリ使用率で10～1000倍高速に動作し、システムのピソン/ピトルチオーバーヘッドを最小限に抑え、SAPIEN並列レンダリングシステムの使用により、ベンチマーク環境で最大30,000以上のFPSを達成できる。
訓練に何時間もかかったタスクは数分かかる。
さらに、アーティストや現実世界のデジタル双生児がデザインした現実的なシーンにおいて、描画、ヒューマノイド、および押出操作のようなタスクに対するモバイル操作に限らず、12の異なるドメインにまたがる最も包括的なGPU並列化環境/タスクも提供します。
さらに、数百万のデモフレームがモーションプランニング、RL、遠隔操作から提供されている。
ManiSkill3はまた、人気のあるRLとデモから学ぶアルゴリズムにまたがる、包括的なベースラインセットも提供している。
関連論文リスト
- Towards a Modern and Lightweight Rendering Engine for Dynamic Robotic Simulations [4.226502078427161]
本稿では,VulkanグラフィックスAPIをサポートするパフォーマンス重視の軽量レンダリングエンジンを提案する。
エンジンはAMBF(Asynchronous Multi-Body Framework)のレガシーレンダリングパイプラインを近代化するために設計されている。
実験によると、エンジンは2ミリ秒以内のGPU計算時間を維持しながら、700万以上の三角形でシミュレーションされたシーンをレンダリングできる。
論文 参考訳（メタデータ） (2024-10-07T14:50:19Z) - Scaling Face Interaction Graph Networks to Real World Scenes [12.519862235430153]
本稿では,グラフベースの学習シミュレータの実行に必要なメモリを大幅に削減する手法を提案する。
提案手法は,従来のグラフベースシミュレータに比べて,精度を保ちながらメモリ使用量が大幅に少ないことを示す。
これにより、学習したシミュレータの応用を、推論時に知覚情報しか利用できない設定に拡張する道が開ける。
論文 参考訳（メタデータ） (2024-01-22T14:38:25Z) - EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices [53.28220984270622]
モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。
提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。
我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
論文 参考訳（メタデータ） (2023-11-16T11:30:56Z) - Learning Interactive Real-World Simulators [96.5991333400566]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。
シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。
ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文 参考訳（メタデータ） (2023-10-09T19:42:22Z) - ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills [24.150758623016195]
我々は、一般化可能な操作スキルのための次世代のSAPIEN ManiSkillベンチマークであるManiSkill2を紹介する。
ManiSkill2には、2000以上のオブジェクトモデルと4M以上のデモフレームを備えた20の操作タスクファミリが含まれている。
幅広いアルゴリズムをサポートする統一インターフェースと評価プロトコルを定義する。
高速な視覚入力学習アルゴリズムにより、CNNベースのポリシーでサンプルを約2000 FPSで収集することができる。
論文 参考訳（メタデータ） (2023-02-09T14:24:01Z) - Optimizing Data Collection in Deep Reinforcement Learning [4.9709347068704455]
GPUベクタライゼーションは、一般的に使用されるCPUシミュレータよりも最大1024タイムでスピードアップできる。
シミュレーションの複雑さがメモリ帯域幅の要求で増大するにつれて、シミュレーターカーネルの核融合の高速化は11.3Times$となり、最大1024times$に増加することを示す。
論文 参考訳（メタデータ） (2022-07-15T20:22:31Z) - VRKitchen2.0-IndoorKit: A Tutorial for Augmented Indoor Scene Building
in Omniverse [77.52012928882928]
INDOORKITはNVIDIA OMNIVERSEの組み込みツールキットである。
屋内シーンビルディング、シーンランダム化、アニメーションコントロールのための柔軟なパイプラインを提供する。
論文 参考訳（メタデータ） (2022-06-23T17:53:33Z) - Megaverse: Simulating Embodied Agents at One Million Experiences per
Second [75.1191260838366]
私たちは、強化学習と具体化AI研究のための新しい3DシミュレーションプラットフォームであるMegaverseを紹介します。
MegaverseはDeepMind Labより最大70倍速い。
私たちはMegaverseを使って、複数の単一エージェントタスクとマルチエージェントタスクからなる新しいベンチマークを構築します。
論文 参考訳（メタデータ） (2021-07-17T03:16:25Z) - Large Batch Simulation for Deep Reinforcement Learning [101.01408262583378]
我々は,視覚複雑な3次元環境における深層強化学習に基づく学習を,事前作業よりも2桁高速化する。
単一のGPUマシンで1秒間に19,000フレーム以上の経験と最大72,000フレーム/秒のエンドツーエンドのトレーニング速度を実現します。
バッチシミュレーションと性能最適化を組み合わせることで、1つのGPU上の複雑な3D環境において、従来の最先端システムでトレーニングされたエージェントの精度の97%から97%まで、ポイントナビゲーションエージェントをトレーニングできることを実証する。
論文 参考訳（メタデータ） (2021-03-12T00:22:50Z) - Multi-GPU SNN Simulation with Perfect Static Load Balancing [0.8360870648463651]
我々は,数百万のニューロン,数十億のシナプス,8つのGPUにスケールするSNNシミュレータを提案する。
これは,1) キャッシュ対応スパイク伝送アルゴリズム,2) モデル並列マルチGPU分散方式,3) 静的かつ非常に効果的なロードバランシング戦略によって実現された。
論文 参考訳（メタデータ） (2021-02-09T07:07:34Z) - Reactive Long Horizon Task Execution via Visual Skill and Precondition
Models [59.76233967614774]
シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。
シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
論文 参考訳（メタデータ） (2020-11-17T15:24:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。