論文の概要: RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator
- arxiv url: http://arxiv.org/abs/2411.11839v1
- Date: Mon, 18 Nov 2024 18:58:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:27:16.941640
- Title: RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator
- Title（参考訳）: RoboGSim:Real2Sim2Real Robotic Gaussian Splatting Simulator
- Authors: Xinhai Li, Jialin Li, Ziheng Zhang, Rui Zhang, Fan Jia, Tiancai Wang, Haoqiang Fan, Kuo-Kun Tseng, Ruiping Wang,
- Abstract要約: RoboGSimは本物の2sim2realのロボットシミュレータで、3Dガウシアン・スプレイティングと物理エンジンで動く。
シミュレーションされたデータを、新しいビュー、オブジェクト、軌跡、シーンで合成することができる。
実数2simとsim2realの転写実験は、テクスチャと物理において高い一貫性を示す。
- 参考スコア（独自算出の注目度）: 27.04267700576422
- License:
- Abstract: Efficient acquisition of real-world embodied data has been increasingly critical. However, large-scale demonstrations captured by remote operation tend to take extremely high costs and fail to scale up the data size in an efficient manner. Sampling the episodes under a simulated environment is a promising way for large-scale collection while existing simulators fail to high-fidelity modeling on texture and physics. To address these limitations, we introduce the RoboGSim, a real2sim2real robotic simulator, powered by 3D Gaussian Splatting and the physics engine. RoboGSim mainly includes four parts: Gaussian Reconstructor, Digital Twins Builder, Scene Composer, and Interactive Engine. It can synthesize the simulated data with novel views, objects, trajectories, and scenes. RoboGSim also provides an online, reproducible, and safe evaluation for different manipulation policies. The real2sim and sim2real transfer experiments show a high consistency in the texture and physics. Moreover, the effectiveness of synthetic data is validated under the real-world manipulated tasks. We hope RoboGSim serves as a closed-loop simulator for fair comparison on policy learning. More information can be found on our project page \href{https://robogsim.github.io/}{https://robogsim.github.io/}.
- Abstract（参考訳）: 実世界のエンボディドデータの効率的な取得はますます重要になっている。
しかし、リモート操作によってキャプチャされた大規模なデモは、非常にコストがかかり、効率的な方法でデータサイズをスケールアップできない傾向にある。
シミュレーション環境下でのエピソードのサンプリングは大規模な収集にとって有望な方法であり、既存のシミュレータはテクスチャと物理の高忠実度モデリングに失敗する。
これらの制約に対処するため、3Dガウススプラッティングと物理エンジンを動力とする2sim2realのロボットシミュレータRoboGSimを紹介した。
RoboGSimは主に、Gaussian Reconstructor、Digital Twins Builder、Scene Composer、Interactive Engineの4つの部分を含んでいる。
シミュレーションされたデータを、新しいビュー、オブジェクト、軌跡、シーンで合成することができる。
RoboGSimはまた、さまざまな操作ポリシーに対して、オンラインで再現可能で安全な評価を提供する。
実数2simとsim2realの転写実験は、テクスチャと物理において高い一貫性を示す。
さらに,実世界の操作タスクにおいて,合成データの有効性を検証する。
RoboGSimがポリシー学習の公正な比較のためのクローズドループシミュレータとして機能することを願っている。
詳細はプロジェクトのページである \href{https://robogsim.github.io/}{https://robogsim.github.io/} で確認できます。
関連論文リスト
- GRUtopia: Dream General Robots in a City at Scale [65.08318324604116]
本稿では,各種ロボットを対象とした対話型3D社会「GRUtopia」について紹介する。
GRScenesには100万のインタラクティブな微妙な注釈付きシーンが含まれており、都市規模の環境に自由に組み合わせることができる。
GRResidentsはLarge Language Model (LLM)によって駆動されるNon-Player Character (NPC)システムである。
論文 参考訳（メタデータ） (2024-07-15T17:40:46Z) - RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots [25.650235551519952]
本稿では,汎用ロボットを日常的に訓練するための大規模シミュレーションフレームワークであるRoboCasaを紹介する。
私たちは、150以上のオブジェクトカテゴリと数十の対話可能な家具とアプライアンスに対して、何千もの3Dアセットを提供しています。
本実験は, 大規模模倣学習のための合成ロボットデータを用いて, スケーリングの傾向を明らかにするものである。
論文 参考訳（メタデータ） (2024-06-04T17:41:31Z) - Benchmarking the Sim-to-Real Gap in Cloth Manipulation [10.530012817995656]
布の操作におけるシム・トゥ・リアルギャップを評価するためのベンチマークデータセットを提案する。
このデータセットを用いて、一般的な4つの変形可能なオブジェクトシミュレータの現実的ギャップ、計算時間、安定性を評価する。
論文 参考訳（メタデータ） (2023-10-14T09:36:01Z) - Learning Interactive Real-World Simulators [96.5991333400566]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。
シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。
ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文 参考訳（メタデータ） (2023-10-09T19:42:22Z) - OmniLRS: A Photorealistic Simulator for Lunar Robotics [2.6718643310547607]
私たちはNvidiaのロボットシミュレータであるIsaac SimをベースにしたLunarシミュレータをどうやって構築したのかを説明します。
このシミュレーションは、高速な手続き環境生成、マルチボット機能、および機械学習アプリケーションのための合成データパイプラインを提供する。
論文 参考訳（メタデータ） (2023-09-16T13:48:47Z) - Learning from synthetic data generated with GRADE [0.6982738885923204]
本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。
GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。
合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
論文 参考訳（メタデータ） (2023-05-07T14:13:04Z) - Real2Sim2Real Transfer for Control of Cable-driven Robots via a
Differentiable Physics Engine [9.268539775233346]
テンセグリティロボットは、高い強度と重量比と大きな変形を示す。
しかし、それらは高次元性、複雑な力学、結合アーキテクチャのために制御が難しい。
本稿では,Real2Sim2Real(R2S2R)戦略について述べる。
論文 参考訳（メタデータ） (2022-09-13T18:51:26Z) - Robot Learning from Randomized Simulations: A Review [59.992761565399185]
ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。
最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。
本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
論文 参考訳（メタデータ） (2021-11-01T13:55:41Z) - DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。
DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。
実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
論文 参考訳（メタデータ） (2021-04-30T15:30:05Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳（メタデータ） (2021-01-16T23:00:33Z) - LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。
まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。
本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
論文 参考訳（メタデータ） (2020-06-16T17:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。