論文の概要: RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator

• arxiv url: http://arxiv.org/abs/2411.11839v2
• Date: Sun, 03 Aug 2025 09:06:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 14:07:55.583192
• Title: RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator
• Title（参考訳）: RoboGSim:Real2Sim2Real Robotic Gaussian Splatting Simulator
• Authors: Xinhai Li, Jialin Li, Ziheng Zhang, Rui Zhang, Fan Jia, Tiancai Wang, Haoqiang Fan, Kuo-Kun Tseng, Ruiping Wang,
• Abstract要約: RoboGSimは、3D Gaussian Splattingと物理エンジンを搭載した2sim2realのロボットシミュレーターだ。 シミュレーションされたデータを、新しいビュー、オブジェクト、軌跡、シーンで合成することができる。 我々は,RoboGSimと実際のロボットプラットフォーム上でのRoboGSimデータと実ロボットデータの比較を行った。
• 参考スコア（独自算出の注目度）: 27.04267700576422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient acquisition of real-world embodied data has been increasingly critical. However, large-scale demonstrations captured by remote operation tend to take extremely high costs and fail to scale up the data size in an efficient manner. Sampling the episodes under a simulated environment is a promising way for large-scale collection while existing simulators fail to high-fidelity modeling on texture and physics. To address these limitations, we introduce the RoboGSim, a real2sim2real robotic simulator, powered by 3D Gaussian Splatting and the physics engine. RoboGSim mainly includes four parts: Gaussian Reconstructor, Digital Twins Builder, Scene Composer, and Interactive Engine. It can synthesize the simulated data with novel views, objects, trajectories, and scenes. RoboGSim also provides an online, reproducible, and safe evaluation for different manipulation policies. The real2sim and sim2real transfer experiments show a high consistency in the texture and physics. We compared the test results of RoboGSim data and real robot data on both RoboGSim and real robot platforms. The experimental results show that the RoboGSim data model can achieve zero-shot performance on the real robot, with results comparable to real robot data. Additionally, in experiments with novel perspectives and novel scenes, the RoboGSim data model performed even better on the real robot than the real robot data model. This not only helps reduce the sim2real gap but also addresses the limitations of real robot data collection, such as its single-source and high cost. We hope RoboGSim serves as a closed-loop simulator for fair comparison on policy learning. More information can be found on our project page https://robogsim.github.io/.
• Abstract（参考訳）: 実世界のエンボディドデータの効率的な取得はますます重要になっている。 しかし、リモート操作によってキャプチャされた大規模なデモは、非常にコストがかかり、効率的な方法でデータサイズをスケールアップできない傾向にある。 シミュレーション環境下でのエピソードのサンプリングは大規模な収集にとって有望な方法であり、既存のシミュレータはテクスチャと物理の高忠実度モデリングに失敗する。 これらの制約に対処するため、3Dガウススプラッティングと物理エンジンを動力とする2sim2realのロボットシミュレータRoboGSimを紹介した。 RoboGSimは主に、Gaussian Reconstructor、Digital Twins Builder、Scene Composer、Interactive Engineの4つの部分を含んでいる。 シミュレーションされたデータを、新しいビュー、オブジェクト、軌跡、シーンで合成することができる。 RoboGSimはまた、さまざまな操作ポリシーに対して、オンラインで再現可能で安全な評価を提供する。 実数2simとsim2realの転写実験は、テクスチャと物理において高い一貫性を示す。 我々は,RoboGSimと実際のロボットプラットフォーム上でのRoboGSimデータと実ロボットデータの比較を行った。 実験の結果,RoboGSimデータモデルは実ロボットでゼロショット性能を達成でき,実際のロボットデータに匹敵する結果が得られた。 さらに、新しい視点や新しいシーンでの実験では、RoboGSimのデータモデルは実際のロボットのデータモデルよりも、実際のロボット上でより優れたパフォーマンスを発揮した。 これはsim2realのギャップを減らすだけでなく、シングルソースや高コストといった実際のロボットデータ収集の限界にも対処する。 RoboGSimがポリシー学習の公正な比較のためのクローズドループシミュレータとして機能することを願っている。 詳細はプロジェクトのページ https://robogsim.github.io/ で確認できます。

関連論文リスト

• RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
  RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。 3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。 我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
  論文  参考訳（メタデータ） (2025-06-28T05:03:31Z)
• ReBot: Scaling Robot Learning with Real-to-Sim-to-Real Robotic Video Synthesis [39.50916343607966]
  ReBotは、実際のロボットデータセットをスケーリングするための、新しいリアル・トゥ・シミュレート・トゥ・リアルのアプローチである。 ReBotは視覚言語アクション(VLA)モデルの性能とロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-03-15T16:47:25Z)
• Vid2Sim: Realistic and Interactive Simulation from Video for Urban Navigation [62.5805866419814]
  Vid2Simは、ニューラル3Dシーンの再構築とシミュレーションのためのスケーラブルで費用効率のよいReal2simパイプラインを通じてsim2realギャップをブリッジする新しいフレームワークである。 実験により、Vid2Simはデジタル双生児と現実世界の都市ナビゲーションの性能を31.2%、成功率68.3%で大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-01-12T03:01:15Z)
• GRUtopia: Dream General Robots in a City at Scale [65.08318324604116]
  本稿では,各種ロボットを対象とした対話型3D社会「GRUtopia」について紹介する。 GRScenesには100万のインタラクティブな微妙な注釈付きシーンが含まれており、都市規模の環境に自由に組み合わせることができる。 GRResidentsはLarge Language Model (LLM)によって駆動されるNon-Player Character (NPC)システムである。
  論文  参考訳（メタデータ） (2024-07-15T17:40:46Z)
• RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots [25.650235551519952]
  本稿では,汎用ロボットを日常的に訓練するための大規模シミュレーションフレームワークであるRoboCasaを紹介する。 私たちは、150以上のオブジェクトカテゴリと数十の対話可能な家具とアプライアンスに対して、何千もの3Dアセットを提供しています。 本実験は, 大規模模倣学習のための合成ロボットデータを用いて, スケーリングの傾向を明らかにするものである。
  論文  参考訳（メタデータ） (2024-06-04T17:41:31Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• Benchmarking the Sim-to-Real Gap in Cloth Manipulation [10.530012817995656]
  布の操作におけるシム・トゥ・リアルギャップを評価するためのベンチマークデータセットを提案する。 このデータセットを用いて、一般的な4つの変形可能なオブジェクトシミュレータの現実的ギャップ、計算時間、安定性を評価する。
  論文  参考訳（メタデータ） (2023-10-14T09:36:01Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• OmniLRS: A Photorealistic Simulator for Lunar Robotics [2.6718643310547607]
  私たちはNvidiaのロボットシミュレータであるIsaac SimをベースにしたLunarシミュレータをどうやって構築したのかを説明します。 このシミュレーションは、高速な手続き環境生成、マルチボット機能、および機械学習アプリケーションのための合成データパイプラインを提供する。
  論文  参考訳（メタデータ） (2023-09-16T13:48:47Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Learning from synthetic data generated with GRADE [0.6982738885923204]
  本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。 GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。 合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
  論文  参考訳（メタデータ） (2023-05-07T14:13:04Z)
• RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
  我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。 実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
  論文  参考訳（メタデータ） (2022-12-13T18:55:15Z)
• Real2Sim2Real Transfer for Control of Cable-driven Robots via a Differentiable Physics Engine [9.268539775233346]
  テンセグリティロボットは、高い強度と重量比と大きな変形を示す。 しかし、それらは高次元性、複雑な力学、結合アーキテクチャのために制御が難しい。 本稿では,Real2Sim2Real(R2S2R)戦略について述べる。
  論文  参考訳（メタデータ） (2022-09-13T18:51:26Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)
• GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
  GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。 まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。 得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
  論文  参考訳（メタデータ） (2021-01-16T23:00:33Z)
• LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
  物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。 まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。 本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
  論文  参考訳（メタデータ） (2020-06-16T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。