論文の概要: RoboRender: Robot-Oriented Video Generation for Visual Sim-to-Real Transfer
- arxiv url: http://arxiv.org/abs/2610.09254v1
- Date: Wed, 07 Oct 2026 00:39:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.654493
- Title: RoboRender: Robot-Oriented Video Generation for Visual Sim-to-Real Transfer
- Title（参考訳）: RoboRender:ビジュアル・シム・トゥ・リアル・トランスファーのためのロボット指向ビデオ生成
- Abstract要約: RoboRenderは、シミュレーションされた軌跡を、ポリシー学習のためのフォトリアリスティックなRGBビデオに変換するフレームワークである。
RoboRenderの生成したデータに基づいてトレーニングされたポリシーは、平均的な成功率を71%達成し、生のシミュレーションレンダリングを上回っている。
これらの結果は、生成ビデオレンダリングは、ゼロショットポリシー転送のための視覚的シミュレートと現実的なギャップを緩和することを示している。
- 参考スコア（独自算出の注目度）: 35.95528906141269
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simulation enables large-scale, low-cost robot data generation, but policies trained in simulation often fail to transfer to the real world due to the sim-to-real visual discrepancies. Existing approaches often rely on intermediate representations, which can discard rich semantic information or require additional perception modules at deployment. We address this visual sim-to-real gap with RoboRender, a framework that converts simulated trajectories into photorealistic RGB videos for policy learning. RoboRender trains a robot-oriented video generation model conditioned on simulated depth videos, language instructions, and robot RGB mask videos, preserving simulator geometry, robot motion, and action labels while synthesizing realistic textures, backgrounds, and distractors. The generated RGB videos are paired with simulator-provided states and actions to train policies for zero-shot real-world deployment. On robot video test sets, our video model outperforms depth-conditioned video generation baselines in generation quality. In real-world experiments across pick-and-place, articulated-object manipulation, and mobile manipulation tasks, policies trained on RoboRender-generated data achieve a 71% average success rate, outperforming raw simulation renderings and conventional visual domain randomization by approximately 7.1x and 3.6x, respectively. We further show that policy performance improves with more generated videos per simulation trajectory, increasing opening-task success by 65 percentage points. These results demonstrate that generative video rendering mitigates the visual sim-to-real gap for zero-shot policy transfer. Project website: https://robo-render.github.io/.
- Abstract（参考訳）: シミュレーションは、大規模で低コストなロボットデータ生成を可能にするが、シミュレーションで訓練されたポリシーは、シミュレートとリアルの視覚的相違のため、現実の世界への移動に失敗することが多い。
既存のアプローチは、リッチなセマンティック情報を破棄したり、デプロイ時に追加の知覚モジュールを必要とするような中間表現に依存していることが多い。
シミュレーションされた軌跡を、ポリシー学習のためのフォトリアリスティックなRGBビデオに変換するフレームワークであるRoboRenderを用いて、この視覚的シミュレートとリアルのギャップに対処する。
RoboRenderは、シミュレーションされた深度ビデオ、言語指示、ロボットRGBマスクビデオに基づいて、ロボット指向のビデオ生成モデルをトレーニングし、シミュレーション幾何学、ロボットの動き、アクションラベルを保存し、現実的なテクスチャ、背景、およびイントラクタを合成する。
生成されたRGBビデオは、シミュレータが提供する状態と組み合わせて、ゼロショットのリアルタイムデプロイメントのためのポリシーをトレーニングする。
ロボットビデオテストセットでは、ビデオモデルは、深度条件付きビデオ生成ベースラインを世代品質で上回る。
ピック・アンド・プレイス、オーケストレート・オブジェクト操作、移動操作タスクの実際の実験では、RoboRenderが生成したデータで訓練したポリシーは平均成功率71%、生のシミュレーションレンダリングを上回り、従来の視覚領域のランダム化を約7.1xと3.6xで達成している。
さらに、シミュレーション1回あたりの動画生成量の増加により、ポリシー性能が向上し、オープニングタスクの成功率が65ポイント向上することを示す。
これらの結果は、生成ビデオレンダリングは、ゼロショットポリシー転送のための視覚的シミュレートと現実的なギャップを緩和することを示している。
プロジェクトウェブサイト: https://robo-render.github.io/.com
関連論文リスト
- RoboSnap: One-Shot Real-to-Sim Scene Generation for Generalizable Robot Learning and Evaluation [55.07260698542592]
我々は,1枚のRGB画像をシミュレーション可能なシーンに変換する,リアル・トゥ・シミュレート・フレームワークであるRoboSnapを紹介した。
DROIDシーンと実ロボットタスクの実験は、復元されたシーンでRoboSnapが信頼できる軌道再生を実現することを示している。
DROIDのリアルワールドシーン564から構築したリアル・トゥ・シムデータセットであるDROID-Simを紹介する。
論文 参考訳（メタデータ） (2026-07-07T18:19:10Z) - OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation [51.37436817948304]
OASISはヒューマノイドのロコ操作のためのシミュレーションデータ駆動のフレームワークである。
3次元生成モデルを用いて実世界の画像から現実的なオブジェクト資産を再構築する。
ゼロショットデプロイメントでは、実際のロボット遠隔操作データでトレーニングされたタスクよりも、ほとんどのタスクで高い成功率を達成する。
論文 参考訳（メタデータ） (2026-06-07T10:01:53Z) - Seeing Realism from Simulation: Efficient Video Transfer for Vision-Language-Action Data Augmentation [39.90318150105298]
視覚言語アクション(VLA)モデルは通常、大規模な実世界のビデオに依存している。
シミュレーションVLAビデオをリアルなトレーニングビデオに変換する,効率的なビデオ拡張フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-04T15:57:07Z) - CRAFT: Video Diffusion for Bimanual Robot Data Generation [3.1921574296387916]
実世界のデータのコストと狭い視覚的多様性によって、デモから双方向のロボット学習が根本的に制限される。
ビデオ拡散変換器(CRAFT)を用いたCanny-Guided Robotデータ生成について述べる。
CRAFTは、アクションラベルを作成しながら、時間的にコヒーレントな操作ビデオを合成する。
論文 参考訳（メタデータ） (2026-04-04T02:36:54Z) - RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning [47.25770917635344]
本稿では,アノテートされた動作の質を評価し,フィルタする新しい合成ロボットデータ生成フレームワークであるRoboCurateを紹介する。
具体的には、RoboCurateはシミュレータで予測されたアクションをリプレイし、動作の一貫性を測定してアクション品質を評価する。
我々は,RoboCurateが生成したデータに対して,実データのみを使用する場合と比較して,成功率を大幅に向上することを示した。
論文 参考訳（メタデータ） (2026-02-21T07:33:24Z) - GaussGym: An open-source real-to-sim framework for learning locomotion from pixels [78.05453137978132]
本稿では,3次元ガウススプラッティングをベクトル化物理シミュレータのドロップインとして統合した光現実的ロボットシミュレーションを提案する。
これにより、コンシューマGPUで毎秒10万ステップを超える、前例のないスピードを実現している。
また,シミュレーティブ・トゥ・リアル・ロボティクス・セッティングにおける適用性を実証した。
論文 参考訳（メタデータ） (2025-10-17T06:34:52Z) - Lyra: Generative 3D Scene Reconstruction via Video Diffusion Model Self-Distillation [87.91642226587294]
現在の学習に基づく3D再構成手法は、キャプチャーされた実世界のマルチビューデータに頼っている。
本稿では,ビデオ拡散モデルにおける暗黙的な3次元知識を,明示的な3次元ガウススプラッティング(3DGS)表現に蒸留する自己蒸留フレームワークを提案する。
本フレームワークは静的・動的3次元シーン生成における最先端性能を実現する。
論文 参考訳（メタデータ） (2025-09-23T17:58:01Z) - RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。
3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。
我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
論文 参考訳（メタデータ） (2025-06-28T05:03:31Z) - Learning 3D Particle-based Simulators from RGB-D Videos [15.683877597215494]
本研究では,シミュレータを直接観測から学習する手法を提案する。
視覚粒子ダイナミクス(VPD)は、3Dシーンの潜在粒子ベースの表現を共同で学習する。
既存の2Dビデオ予測モデルとは異なり、VPDの3D構造はシーン編集と長期予測を可能にする。
論文 参考訳（メタデータ） (2023-12-08T20:45:34Z) - Learning Interactive Real-World Simulators [96.5991333400566]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。
シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。
ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文 参考訳（メタデータ） (2023-10-09T19:42:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。