論文の概要: One Video, One World: Turning Monocular Video into Physical 4D Scenes
- arxiv url: http://arxiv.org/abs/2606.31388v1
- Date: Tue, 30 Jun 2026 09:16:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.163174
- Title: One Video, One World: Turning Monocular Video into Physical 4D Scenes
- Title（参考訳）: モノクロ動画を物理4Dのシーンに変えるワンワールド動画
- Abstract要約: OVOWは、単一のモノクロビデオから、インテナンスレベルでシミュレーション可能な4Dメッシュシーンを再構築する。
我々は,視覚的忠実度を超えた幾何的正しさ,インスタンス分離,物理的妥当性を指標として,エンファン構造化ビデオから4次元評価のための最初のベンチマークを確立した。
OVOWは、すべてのベースラインの中で最高のレイアウトと幾何学的精度、および最も低い測光的および意味的誤差を達成する。
- 参考スコア（独自算出の注目度）: 27.429882736058904
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce \textbf{OVOW}, the first training-free system that reconstructs \emph{instance-level, simulation-ready} 4D mesh scenes from a single monocular video. Recent 4D reconstruction achieves impressive rendering quality, but its outputs (\eg, implicit fields, Gaussian primitives, or point clouds) lack the watertight topology, instance separation, and standardized physical interfaces required by physics simulators and embodied AI. OVOW closes this gap with a four-stage pipeline: a vision-language model discovers, labels, and motion-classifies all instances; category-aware reconstruction yields per-instance meshes for rigid objects and topology-consistent mesh sequences for deformable ones; an iterative render-match-optimize procedure recovers metric scale and 6-DoF pose trajectories; and physics-grounded assembly enforces ground contact and inter-object support. Crucially, we model all motion, rigid and non-rigid, through direct vertex deformation without category-specific priors or skeleton rigging, producing watertight mesh scenes ready for downstream physics simulation and editing. We further establish the first benchmark for \emph{structured Video-to-4D} evaluation, with metrics for geometric correctness, instance separation, and physical plausibility beyond visual fidelity; the same pipeline doubles as a scalable engine for \emph{synthesizing} paired video-to-4D simulation data for future 4D world models and embodied AI. Across two synthetic benchmarks (static and 4D), OVOW attains the best overall layout and geometry accuracy and the lowest photometric and semantic error among all baselines, and on monocular video runs one to two orders of magnitude faster than the baselines, while downstream physics simulation confirms its physical stability.
- Abstract（参考訳）: 単一モノクロビデオから,emph{instance-level, Simulation-ready} 4Dメッシュシーンを再構成する,最初のトレーニング不要システムである‘textbf{OVOW} を紹介する。
最近の4D再構成は、印象的なレンダリング品質を実現するが、出力(暗黙のフィールド、ガウスのプリミティブ、ポイントクラウド)には、物理シミュレータやエンボディAIが必要とする、水密なトポロジ、インスタンス分離、標準化された物理インターフェースが欠けている。
OVOWは、このギャップを4段階のパイプラインで埋める: ビジョン言語モデルがすべてのインスタンスを発見し、ラベルし、動きを分類する; カテゴリ認識の再構築は、剛体オブジェクトのインスタンス毎のメッシュと変形可能なオブジェクトのトポロジ一貫性のあるメッシュシーケンスを出力する; 反復的なレンダリングマッチ最適化プロシージャは、メトリックスケールを回復し、6-DoFのポーズトラジェクトリ、物理基底のアセンブリは、接地とオブジェクト間のサポートを強制する。
重要なことは、すべての動き、剛性、非剛性を、カテゴリー固有の先行やスケルトンリグなしで直接頂点変形によってモデル化し、下流の物理シミュレーションと編集のための水密メッシュシーンを生成します。
さらに,<emph{structured Video-to-4D} 評価のための最初のベンチマークを,幾何学的正しさ,インスタンス分離,視覚的忠実度を超えた物理的可視性などの指標で確立した。
2つの総合的なベンチマーク(静的および4D)において、OVOWはすべてのベースラインの中で最高のレイアウトと幾何精度、および最も低い測光および意味的誤差を達成し、モノクロビデオ上では、ベースラインよりも1～2桁高速に動作し、下流物理シミュレーションはその物理的安定性を確認する。
関連論文リスト
- SimWorlds: A Multi-Agent System for Dynamic 3D Scene Creation [50.175987640001644]
テキストから動的に編集可能な4Dシーンを生成するマルチエージェントフレームワークであるSimWorldsを紹介する。
また,プロシージャのダイナミックな3Dシーンの視覚的忠実度と身体的整合性を評価するベンチマークである4DBuildBenchも導入した。
論文 参考訳（メタデータ） (2026-07-02T06:29:18Z) - Ground4D: Consistency-Aware 4D Reconstruction from Monocular Video [69.94904173314505]
2つのステージ上に構築された幾何グラウンドのフレームワークであるGround4Dを提案する。
まず,モノクロ映像から複数視点の立体形状とカメラポーズを再構成する。
第2に,動的ガウススプラッティングによる幾何整合性を考慮した改良を行う。
論文 参考訳（メタデータ） (2026-06-27T09:27:42Z) - High-Fidelity 4D Hand-Object Capture via Multi-View Spatiotemporal Tracking and Physics-Aware Gaussians [38.0162622592412]
同期・校正されたマルチビュービデオから手や物体を頑健かつ正確に再構成するための新しいシステムを提案する。
我々のパイプラインは、高度に堅牢でアーティファクトのない再構築を実現し、自動化された4Dアセット生成のための効率的な基盤を提供する。
論文 参考訳（メタデータ） (2026-06-14T16:36:49Z) - GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation [72.52773248997929]
ビデオワールドモデルは、1つの命令から現実的な未来を生成できるが、時間とともに一貫したポイントレベルの動きを維持できないことが多い。
GEM-4Dは、トレーニング中にビデオ生成バックボーンに高密度な4D対応制御を注入する幾何学的地上ビデオワールドモデルである。
Inverse dynamicsモジュールは、対応性のあるビデオロールアウトを実行可能なロボットトラジェクトリに変換し、現実世界とシミュレーション操作の両方で直接デプロイできる。
論文 参考訳（メタデータ） (2026-05-20T21:36:44Z) - Resonance4D: Frequency-Domain Motion Supervision for Preset-Free Physical Parameter Learning in 4D Dynamic Physical Scene Simulation [53.141181758015186]
Resonance4Dは3次元ガウス散乱と物質点法を結合した物理駆動4次元動的シミュレーションフレームワークである。
我々の重要な洞察は、動的整合性は、相補的領域における共同的拘束運動によって、高密度時間発生なしに強制できるということである。
Resonance4Dは、ピークGPUメモリを35,GB以上から20GB程度に削減しつつ、強力な物理忠実性と運動の整合性を実現する。
論文 参考訳（メタデータ） (2026-04-02T13:00:22Z) - Phys4D: Fine-Grained Physics-Consistent 4D Modeling from Video Diffusion [43.09536633299663]
ビデオ拡散モデルから物理に一貫性のある4次元世界表現を学習するためのパイプラインである textbfPhys4D を提案する。
まず、大規模擬似教師付き事前学習により、ロバストな幾何学と動きの表現を行う。
次に、シミュレーションブートストラップ生成データを用いて物理地上教師あり微調整を行い、時間的に一貫した4次元ダイナミクスを強制する。
論文 参考訳（メタデータ） (2026-03-03T20:01:43Z) - Motion 3-to-4: 3D Motion Reconstruction for 4D Synthesis [53.48281548500864]
Motion 3-to-4は、単一のモノクロビデオから高品質な4Dダイナミックオブジェクトを合成するためのフィードフォワードフレームワークである。
我々のモデルは、コンパクトな動き潜在表現を学習し、フレーム単位の軌道を予測して、時間的コヒーレントな幾何である完全なロバスト性を取り戻す。
論文 参考訳（メタデータ） (2026-01-20T18:59:48Z) - Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。
単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
論文 参考訳（メタデータ） (2025-11-01T11:16:25Z) - PhysGM: Large Physical Gaussian Model for Feed-Forward 4D Synthesis [37.21119648359889]
PhysGMはフィードフォワードフレームワークであり、単一の画像から3次元ガウス表現とその物理的特性を共同で予測する。
1分で1枚の画像から高忠実度4Dシミュレーションを効果的に生成する。
論文 参考訳（メタデータ） (2025-08-19T15:10:30Z) - DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。