論文の概要: GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2510.20813v1
- Date: Thu, 23 Oct 2025 17:59:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:18.543917
- Title: GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation
- Title(参考訳): GSWorld:ロボットマニピュレーションのためのクローズドループフォトリアリスティックシミュレーションスイート
- Authors: Guangqi Jiang, Haoran Chang, Ri-Zhao Qiu, Yutong Liang, Mazeyu Ji, Jiyue Zhu, Zhao Dong, Xueyan Zou, Xiaolong Wang,
- Abstract要約: GSWorldは、3Dガウススプラッティングと物理エンジンを組み合わせたロボット操作のための写真リアルシミュレータだ。
本フレームワークは,実ロボットデータから得られたポリシーを再現可能な評価で評価する操作ポリシーの「ループを閉じる」ことを提唱する。
- 参考スコア(独自算出の注目度): 18.684526752120412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents GSWorld, a robust, photo-realistic simulator for robotics manipulation that combines 3D Gaussian Splatting with physics engines. Our framework advocates "closing the loop" of developing manipulation policies with reproducible evaluation of policies learned from real-robot data and sim2real policy training without using real robots. To enable photo-realistic rendering of diverse scenes, we propose a new asset format, which we term GSDF (Gaussian Scene Description File), that infuses Gaussian-on-Mesh representation with robot URDF and other objects. With a streamlined reconstruction pipeline, we curate a database of GSDF that contains 3 robot embodiments for single-arm and bimanual manipulation, as well as more than 40 objects. Combining GSDF with physics engines, we demonstrate several immediate interesting applications: (1) learning zero-shot sim2real pixel-to-action manipulation policy with photo-realistic rendering, (2) automated high-quality DAgger data collection for adapting policies to deployment environments, (3) reproducible benchmarking of real-robot manipulation policies in simulation, (4) simulation data collection by virtual teleoperation, and (5) zero-shot sim2real visual reinforcement learning. Website: https://3dgsworld.github.io/.
- Abstract(参考訳): 本稿では、3Dガウススプラッティングと物理エンジンを組み合わせた、ロボット操作のための頑健なフォトリアリスティックシミュレータGSWorldについて述べる。
本フレームワークは,実際のロボットデータから学んだポリシーの再現可能な評価と,実際のロボットを使わずにシミュレートされたポリシートレーニングによる操作ポリシー開発を提唱する。
多様なシーンの写実的なレンダリングを実現するため,GSDF(Gaussian Scene Description File)と呼ばれる新しいアセットフォーマットを提案する。
合理化された再構築パイプラインを用いて、単腕および両腕操作のための3つのロボットエボディメントと40以上のオブジェクトを含むGSDFのデータベースをキュレートする。
GSDFと物理エンジンを組み合わせることで,(1)写真リアリスティックレンダリングによるゼロショットシム2リアルピクセル対アクション操作ポリシーの学習,(2)展開環境へのポリシー適応のための高品質ダガー自動データ収集,(3)シミュレーションにおける実ロボット操作ポリシーの再現可能なベンチマーク,(4)仮想遠隔操作によるシミュレーションデータ収集,(5)ゼロショットシム2リアル視覚強化学習,といった,興味深い応用が実現された。
ウェブサイト:https://3dgsworld.github.io/
関連論文リスト
- Lyra: Generative 3D Scene Reconstruction via Video Diffusion Model Self-Distillation [87.91642226587294]
現在の学習に基づく3D再構成手法は、キャプチャーされた実世界のマルチビューデータに頼っている。
本稿では,ビデオ拡散モデルにおける暗黙的な3次元知識を,明示的な3次元ガウススプラッティング(3DGS)表現に蒸留する自己蒸留フレームワークを提案する。
本フレームワークは静的・動的3次元シーン生成における最先端性能を実現する。
論文 参考訳(メタデータ) (2025-09-23T17:58:01Z) - RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。
3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。
我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
論文 参考訳(メタデータ) (2025-06-28T05:03:31Z) - X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real [20.561250366126625]
X-Simは、ロボットのポリシーを学ぶための、密集した伝達可能な信号としてオブジェクトの動きを利用する、リアルからシミュレート・トゥ・リアルなフレームワークである。
X-Simは、RGBDの人間のビデオからシミュレーションを再構築し、オブジェクト中心の報酬を定義するためにオブジェクトの軌跡を追跡することから始まる。
学習方針は、様々な視点と照明でレンダリングされた合成ロールアウトを用いて、画像調和拡散政策に蒸留される。
論文 参考訳(メタデータ) (2025-05-11T19:04:00Z) - Video2Policy: Scaling up Manipulation Tasks in Simulation through Internet Videos [61.925837909969815]
我々は,インターネット上のRGBビデオを利用して日常の人間行動に基づいてタスクを再構築する新しいフレームワークであるVideo2Policyを紹介した。
本手法は投球のような複雑で困難なタスクを含む,そのようなタスクに対するRLポリシーのトレーニングに成功している。
生成したシミュレーションデータは,一般的なポリシをトレーニングするためにスケールアップ可能であり,Real2Sim2Real方式で実ロボットに転送可能であることを示す。
論文 参考訳(メタデータ) (2025-02-14T03:22:03Z) - RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator [27.04267700576422]
RoboGSimは、3D Gaussian Splattingと物理エンジンを搭載した2sim2realのロボットシミュレーターだ。
シミュレーションされたデータを、新しいビュー、オブジェクト、軌跡、シーンで合成することができる。
我々は,RoboGSimと実際のロボットプラットフォーム上でのRoboGSimデータと実ロボットデータの比較を行った。
論文 参考訳(メタデータ) (2024-11-18T18:58:03Z) - Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。
しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。
視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
論文 参考訳(メタデータ) (2023-07-28T05:47:24Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳(メタデータ) (2022-10-25T01:51:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。