論文の概要: Grounded-Dreamer: Robot Learning from World Model Synthetic Data with Physical Grounding
- arxiv url: http://arxiv.org/abs/2610.13164v1
- Date: Fri, 09 Oct 2026 07:53:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.461097
- Title: Grounded-Dreamer: Robot Learning from World Model Synthetic Data with Physical Grounding
- Title(参考訳): グラウンドド・ドレーマー:物理グラウンドを用いた世界モデル合成データからのロボット学習
- Abstract要約: Grounded-Dreamerは、物理的に接地されたロボット操作データを合成するためのフレームワークである。
生成的ビデオモデルの視覚的リアリズムとシミュレーター物理エンジンを組み合わせる。
- 参考スコア(独自算出の注目度): 19.820960847738206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scaling robot manipulation policies requires large amounts of diverse, action-labeled data, yet collecting such data in the real world remains expensive and difficult to scale. Existing methods either depend on human teleoperation, rely on simulation with limited visual realism, or use human videos that lack embodiment-specific annotations. In this paper, we introduce Grounded-Dreamer, a framework for synthesizing physically grounded robot manipulation data with video world models while avoiding human teleoperation demonstrations. Grounded-Dreamer combines the visual realism of generative video models with simulator physics engines. Starting from a small set of real images depicting robot task initial states, our method automatically reconstructs task-relevant objects and camera geometry, aligns them in simulation, and collects physically valid trajectories. These trajectories are used to post-train both a video world model and an inverse dynamics model, enabling the generation of visually realistic robot manipulation videos and corresponding robot actions from real images. To filter physically implausible rollouts, Grounded-Dreamer replays generated trajectories in the reconstructed simulation and retains only those that successfully complete the tasks. The real-world robot policies are trained solely on the grounded synthetic trajectories without any human demonstrations. Empirical results in real-world tasks demonstrate that Grounded-Dreamer can synthesize physically grounded data and substantially facilitate policy learning without requiring human teleoperation effort.
- Abstract(参考訳): ロボット操作ポリシーをスケールするには、多種多様なアクションラベル付きデータを必要とするが、そのようなデータを現実世界で収集するのは高価で、スケールが難しい。
既存の方法は人間の遠隔操作に依存するか、限られた視覚リアリズムによるシミュレーションに依存するか、具体的アノテーションを欠いた人間のビデオを使用するかのいずれかである。
本稿では,人間による遠隔操作のデモンストレーションを回避しつつ,物理的に接地されたロボット操作データをビデオワールドモデルで合成するフレームワークであるGrounded-Dreamerを紹介する。
グラウンドド・ドレーマーは、生成的ビデオモデルの視覚的リアリズムとシミュレーター物理エンジンを組み合わせる。
ロボットタスクの初期状態を表す少数の実画像から、タスク関連オブジェクトとカメラ形状を自動的に再構成し、シミュレーションでそれらを整列し、物理的に有効な軌跡を収集する。
これらの軌道は、ビデオワールドモデルと逆ダイナミクスモデルの両方をポストトレーニングするために使用され、視覚的にリアルなロボット操作ビデオと、実際の画像から対応するロボットアクションを生成することができる。
物理的に不可解なロールアウトをフィルタリングするために、Grounded-Dreamerは再構成されたシミュレーションで生成された軌道をリプレイし、タスクを完了した人だけを保持する。
現実世界のロボットポリシーは、人間によるデモンストレーションなしに、地上の合成軌道でのみ訓練される。
実世界の課題における実証的な結果から、グラウンドド・ドレーマーは物理的に基盤付けられたデータを合成し、人間の遠隔操作を必要とせず、政策学習を実質的に促進できることを示した。
関連論文リスト
- Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。
これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。
その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
論文 参考訳(メタデータ) (2026-10-05T11:08:50Z) - Robot-Factored World Models via Robot Rendering [25.12876640584098]
アクション条件付きビデオワールドモデルは、初期観測と行動信号から将来の観測を予測する。
本研究では,ロボット特異的な2つの要素を世界モデル外へ移動させるロボット駆動世界モデルを提案する。
実験により, レンダリングインタフェースはベクトル条件付きベースラインより優れており, 未知のロボットエンボディメント推論に一般化されていることがわかった。
論文 参考訳(メタデータ) (2026-07-24T17:59:57Z) - OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation [51.37436817948304]
OASISはヒューマノイドのロコ操作のためのシミュレーションデータ駆動のフレームワークである。
3次元生成モデルを用いて実世界の画像から現実的なオブジェクト資産を再構築する。
ゼロショットデプロイメントでは、実際のロボット遠隔操作データでトレーニングされたタスクよりも、ほとんどのタスクで高い成功率を達成する。
論文 参考訳(メタデータ) (2026-06-07T10:01:53Z) - GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。
GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。
我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。
GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
論文 参考訳(メタデータ) (2026-06-03T17:57:45Z) - DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos [110.98100817695307]
私たちはDreamDojoを紹介します。DreamDojoは、多種多様なインタラクションと、エゴセントリックな人間ビデオの44万時間から厳密なコントロールを学ぶ基礎的な世界モデルです。
本研究は, 遠隔操作, 政策評価, モデルベース計画など, 生成的世界モデルに基づくいくつかの重要な応用を可能にする。
論文 参考訳(メタデータ) (2026-02-06T18:49:43Z) - AnchorDream: Repurposing Video Diffusion for Embodiment-Aware Robot Data Synthesis [33.90053396451562]
AnchorDreamは、ロボットデータ合成のための事前学習されたビデオ拡散モデルを再利用した、エンボディメントを意識した世界モデルである。
本手法は,環境モデリングを必要とせず,大規模で多様な高品質なデータセットにスケールする。
実験の結果、生成されたデータは下流の政策学習において一貫した改善をもたらし、シミュレータのベンチマークでは36.4%、現実世界の研究ではほぼ2倍の性能を示した。
論文 参考訳(メタデータ) (2025-12-12T18:59:45Z) - Robot Learning from a Physical World Model [33.89964002945721]
本稿では,ビデオ生成から物理世界モデリングによるロボット学習を実現するフレームワークであるPhysWorldを紹介する。
様々な実世界のタスクの実験により、PhysWorldは以前のアプローチに比べて操作精度を大幅に改善した。
論文 参考訳(メタデータ) (2025-11-10T18:59:07Z) - DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。
私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
論文 参考訳(メタデータ) (2025-05-19T04:55:39Z) - Dream to Manipulate: Compositional World Models Empowering Robot Imitation Learning with Imagination [25.62602420895531]
DreMaは、実世界の学習された明示的な表現とそのダイナミクスを使って、デジタル双生児を構築するための新しいアプローチである。
DreMaはタスク毎の1つの例から新しい物理タスクを学べることを示す。
論文 参考訳(メタデータ) (2024-12-19T15:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。