論文の概要: RoboPearls: Editable Video Simulation for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2506.22756v1
• Date: Sat, 28 Jun 2025 05:03:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.551437
• Title: RoboPearls: Editable Video Simulation for Robot Manipulation
• Title（参考訳）: RoboPearls:ロボット操作のための編集可能なビデオシミュレーション
• Authors: Tao Tang, Likui Zhang, Youpeng Wen, Kaidong Zhang, Jia-Wang Bian, xia zhou, Tianyi Yan, Kun Zhan, Peng Jia, Hefeng Wu, Liang Lin, Xiaodan Liang,
• Abstract要約: RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。 3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。 我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
• 参考スコア（独自算出の注目度）: 81.18434338506621
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The development of generalist robot manipulation policies has seen significant progress, driven by large-scale demonstration data across diverse environments. However, the high cost and inefficiency of collecting real-world demonstrations hinder the scalability of data acquisition. While existing simulation platforms enable controlled environments for robotic learning, the challenge of bridging the sim-to-real gap remains. To address these challenges, we propose RoboPearls, an editable video simulation framework for robotic manipulation. Built on 3D Gaussian Splatting (3DGS), RoboPearls enables the construction of photo-realistic, view-consistent simulations from demonstration videos, and supports a wide range of simulation operators, including various object manipulations, powered by advanced modules like Incremental Semantic Distillation (ISD) and 3D regularized NNFM Loss (3D-NNFM). Moreover, by incorporating large language models (LLMs), RoboPearls automates the simulation production process in a user-friendly manner through flexible command interpretation and execution. Furthermore, RoboPearls employs a vision-language model (VLM) to analyze robotic learning issues to close the simulation loop for performance enhancement. To demonstrate the effectiveness of RoboPearls, we conduct extensive experiments on multiple datasets and scenes, including RLBench, COLOSSEUM, Ego4D, Open X-Embodiment, and a real-world robot, which demonstrate our satisfactory simulation performance.
• Abstract（参考訳）: 汎用的なロボット操作ポリシーの開発は、様々な環境における大規模な実演データによって大きな進歩を遂げている。 しかし、実世界のデモを収集するコストと非効率さは、データ取得のスケーラビリティを損なう。 既存のシミュレーションプラットフォームは、ロボット学習のための制御された環境を可能にするが、sim-to-realギャップを埋めることの難しさは残る。 これらの課題に対処するために,ロボット操作のための編集可能なビデオシミュレーションフレームワークであるRoboPearlsを提案する。 3D Gaussian Splatting (3DGS)上に構築されたRoboPearlsは、デモビデオから写真リアリスティックでビュー一貫性のあるシミュレーションの構築を可能にし、インクリメンタルセマンティック蒸留(ISD)や3D正規化NNFMロス(3D-NNFM)といった高度なモジュールを動力とする様々なオブジェクト操作を含む、幅広いシミュレーションオペレータをサポートする。 さらに、大きな言語モデル(LLM)を統合することで、RoboPearlsは、フレキシブルなコマンド解釈と実行を通じて、ユーザフレンドリーな方法でシミュレーション生産プロセスを自動化する。 さらに、RoboPearlsは視覚言語モデル(VLM)を用いてロボット学習の問題を分析し、性能向上のためのシミュレーションループを閉じる。 RLBench, COLOSSEUM, Ego4D, Open X-Embodiment, 実世界のロボットなど, さまざまなデータセットやシーンにおいて, ロボットによるシミュレーション性能の実証を行う。

関連論文リスト

• ORV: 4D Occupancy-centric Robot Video Generation [33.360345403049685]
  遠隔操作を通じて現実世界のロボットシミュレーションデータを取得することは、時間と労力のかかることで有名だ。 ORVは,4次元のセマンティック・コンカレンシー・シーケンスをきめ細かな表現として利用した,作業中心のロボットビデオ生成フレームワークである。 ORVは、占有率に基づく表現を活用することにより、時間的一貫性と正確な制御性を確保しつつ、シミュレーションデータをフォトリアリスティックなロボットビデオにシームレスに変換することができる。
  論文  参考訳（メタデータ） (2025-06-03T17:00:32Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• EnerVerse: Envisioning Embodied Future Space for Robotics Manipulation [55.26713167507132]
  本稿では,エンボディ空間の構築と解釈を行う生成ロボティクス基礎モデルを提案する。 EnerVerseは、自己回帰的ビデオ拡散フレームワークを使用して、命令から将来のエンボディドスペースを予測する。 本稿では,生成モデルと4次元ガウススプラッティングを組み合わせたデータエンジンパイプラインであるEnerVerse-Dについて述べる。
  論文  参考訳（メタデータ） (2025-01-03T17:00:33Z)
• RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots [25.650235551519952]
  本稿では,汎用ロボットを日常的に訓練するための大規模シミュレーションフレームワークであるRoboCasaを紹介する。 私たちは、150以上のオブジェクトカテゴリと数十の対話可能な家具とアプライアンスに対して、何千もの3Dアセットを提供しています。 本実験は, 大規模模倣学習のための合成ロボットデータを用いて, スケーリングの傾向を明らかにするものである。
  論文  参考訳（メタデータ） (2024-06-04T17:41:31Z)
• DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
  DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。 言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。 実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
  論文  参考訳（メタデータ） (2024-05-12T15:38:17Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects with Graph Networks [32.00371492516123]
  弾塑性物体のモデリングと操作のためのモデルベース計画フレームワークを提案する。 我々のシステムであるRoboCraftは、グラフニューラルネットワーク(GNN)を用いて粒子ベースの力学モデルを学び、基礎となるシステムの構造を捉える。 実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成し、弾塑性の物体を様々な形状に変形させるダイナミックスモデルを学習できることを示す。
  論文  参考訳（メタデータ） (2022-05-05T20:28:15Z)
• Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
  本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。 連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。 我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
  論文  参考訳（メタデータ） (2021-11-15T18:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。