論文の概要: Real2Edit2Real: Generating Robotic Demonstrations via a 3D Control Interface
- arxiv url: http://arxiv.org/abs/2512.19402v1
- Date: Mon, 22 Dec 2025 13:53:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.778403
- Title: Real2Edit2Real: Generating Robotic Demonstrations via a 3D Control Interface
- Title（参考訳）: Real2Edit2Real:3D制御インタフェースによるロボットデモ生成
- Authors: Yujie Zhao, Hongwei Fan, Di Chen, Shengcong Chen, Liliang Chen, Xiaoqi Li, Guanghui Ren, Hao Dong,
- Abstract要約: 本稿では,3次元制御インタフェースを通じて2次元視覚データで3次元編集可能性をブリッジすることで,新しいデモを生成するフレームワークであるReal2Edit2Realを紹介する。
提案手法はまず,マルチビューRGB観測から3次元再現モデルを用いてシーン形状を再構成する。
本稿では,空間的に拡張されたマルチビュー操作映像を合成するために,主制御信号として奥行きで案内される多条件映像生成モデルを提案する。
- 参考スコア（独自算出の注目度）: 17.378883024907648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent progress in robot learning has been driven by large-scale datasets and powerful visuomotor policy architectures, yet policy robustness remains limited by the substantial cost of collecting diverse demonstrations, particularly for spatial generalization in manipulation tasks. To reduce repetitive data collection, we present Real2Edit2Real, a framework that generates new demonstrations by bridging 3D editability with 2D visual data through a 3D control interface. Our approach first reconstructs scene geometry from multi-view RGB observations with a metric-scale 3D reconstruction model. Based on the reconstructed geometry, we perform depth-reliable 3D editing on point clouds to generate new manipulation trajectories while geometrically correcting the robot poses to recover physically consistent depth, which serves as a reliable condition for synthesizing new demonstrations. Finally, we propose a multi-conditional video generation model guided by depth as the primary control signal, together with action, edge, and ray maps, to synthesize spatially augmented multi-view manipulation videos. Experiments on four real-world manipulation tasks demonstrate that policies trained on data generated from only 1-5 source demonstrations can match or outperform those trained on 50 real-world demonstrations, improving data efficiency by up to 10-50x. Moreover, experimental results on height and texture editing demonstrate the framework's flexibility and extensibility, indicating its potential to serve as a unified data generation framework.
- Abstract（参考訳）: ロボット学習の最近の進歩は、大規模なデータセットと強力なビジュモータポリシーアーキテクチャによって推進されているが、多種多様なデモンストレーション、特に操作タスクにおける空間的一般化の収集コストによって、ポリシーの堅牢性は制限されている。
繰り返しデータ収集を減らすために,3次元制御インタフェースを通じて2次元の視覚データで3次元編集性をブリッジすることで,新しいデモを生成するフレームワークであるReal2Edit2Realを提案する。
提案手法はまず,マルチビューRGB観測から3次元再現モデルを用いてシーン形状を再構成する。
再構成された形状に基づいて,新たな操作軌道を生成するために点雲上で深度信頼性の高い3D編集を行うとともに,物理的に一貫した深度を復元するためにロボットの姿勢を幾何的に補正し,新しいデモを合成するための信頼性の高い条件として機能する。
最後に,空間的に拡張されたマルチビュー操作映像を合成するために,主制御信号として奥行きで案内される多条件映像生成モデルを提案する。
4つの実世界の操作タスクの実験では、たった1-5のソースデモから生成されたデータに基づいてトレーニングされたポリシーが、50の実世界のデモでトレーニングされたポリシーと一致または性能を向上し、データ効率を最大10～50倍向上することを示した。
さらに、高さとテクスチャの編集実験の結果、フレームワークの柔軟性と拡張性を示し、統一されたデータ生成フレームワークとして機能する可能性を示している。
関連論文リスト
- DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。
マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。
我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
論文 参考訳（メタデータ） (2025-10-28T10:17:11Z) - R2RGEN: Real-to-Real 3D Data Generation for Spatially Generalized Manipulation [74.41728218960465]
本稿では,実世界のデータを生成するために,ポイントクラウド観測-アクションペアを直接拡張するリアルタイム3Dデータ生成フレームワーク(R2RGen)を提案する。
R2RGenは、広範な実験におけるデータの効率を大幅に向上させ、モバイル操作におけるスケーリングと応用の強い可能性を示す。
論文 参考訳（メタデータ） (2025-10-09T17:55:44Z) - EMMA: Generalizing Real-World Robot Manipulation via Generative Visual Transfer [35.27100635173712]
視覚言語アクション(VLA)モデルは、堅牢な一般化を達成するために、多種多様なトレーニングデータに依存している。
本稿では,VLAポリシー拡張フレームワークであるEmbodied Manipulation Media Adaptation (EMMA)を提案する。
DreamTransferは、3D構造や幾何学的妥当性を損なうことなく、ロボットビデオのテキスト制御による視覚的編集、前景、背景、照明条件の変換を可能にする。
AdaMixは、動的にトレーニングバッチを再重み付けして、知覚的あるいは運動学的に困難なサンプルに最適化する、ハードサンプル対応のトレーニング戦略である。
論文 参考訳（メタデータ） (2025-09-26T14:34:44Z) - Geometry-aware 4D Video Generation for Robot Manipulation [28.709339959536106]
そこで本研究では,映像の多視点3次元整合性を実現する4次元映像生成モデルを提案する。
この幾何学的監督により、モデルはシーンの共有3次元表現を学習することができ、新しい視点から将来の映像シーケンスを予測することができる。
既存のベースラインと比較して,本手法は複数のシミュレーションおよび実世界のロボットデータセットに対して,より視覚的に安定かつ空間的に整合した予測を生成する。
論文 参考訳（メタデータ） (2025-07-01T18:01:41Z) - RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。
3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。
我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
論文 参考訳（メタデータ） (2025-06-28T05:03:31Z) - DGS-LRM: Real-Time Deformable 3D Gaussian Reconstruction From Monocular Videos [52.46386528202226]
Deformable Gaussian Splats Large Reconstruction Model (DGS-LRM)を紹介する。
動的シーンのモノクロポーズビデオから変形可能な3Dガウススプラットを予測する最初のフィードフォワード法である。
最先端のモノクロビデオ3D追跡手法と同等の性能を発揮する。
論文 参考訳（メタデータ） (2025-06-11T17:59:58Z) - WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。
提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。
提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-09-18T18:46:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。