論文の概要: 4Director: Controlling Video World Models with Rigid 3D Geometry
- arxiv url: http://arxiv.org/abs/2610.02160v1
- Date: Thu, 01 Oct 2026 17:52:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.358087
- Title: 4Director: Controlling Video World Models with Rigid 3D Geometry
- Title（参考訳）: 4Director: Rigid 3D Geometryによるビデオワールドモデルの制御
- Abstract要約: 明示的な4Dシーン表現に基づくビデオワールドモデルである4Directorを紹介する。
各オブジェクトは、入力画像から標準メッシュとして一度再構成され、フレーム毎に所定の1つの剛性変換によって移動される。
Motion Adapterは、この幾何学的足場をビデオに変換し、ビュー一貫性のある外観、照明、非剛体力学を合成する。
- 参考スコア（独自算出の注目度）: 17.644720801654294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Precise control over camera and object motion is essential for professional video production. Existing methods control objects only coarsely, through image-plane cues that are ambiguous in depth and rotation or through 3D tracks and blobs that lack complete geometry and lose consistency across viewpoint changes. We introduce 4Director, a video world model conditioned on an explicit 4D scene representation: each object is reconstructed once from the input image as a canonical mesh and moved by one prescribed rigid transformation per frame. This representation provides an intuitive 3D control interface and prevents unobserved geometry from being regenerated independently in every frame. We render the controlled scene as a depth video and introduce a Motion Adapter that transforms this geometric scaffold into video while synthesizing view-consistent appearance, illumination, and non-rigid dynamics. For training, we construct RealCOD-Rigid, a new dataset of 20,774 clips annotated with rigid 3D scenes by our automatic pipeline. We further introduce Identity-Gated IoU (IG-IoU), which jointly evaluates adherence to prescribed object motion and preservation of object identity. Experiments demonstrate that 4Director consistently outperforms prior methods in visual quality and in camera and object control.
- Abstract（参考訳）: プロのビデオ制作には、カメラと物体の動きの精密制御が不可欠である。
既存の制御方法は、深度や回転が不明瞭な画像平面のキューや、完全な幾何学を欠いた3Dトラックやブロブを通してのみ、オブジェクトを粗く制御する。
本稿では,4次元シーン表現を前提としたビデオワールドモデルである4Directorを紹介した。各オブジェクトは入力画像から標準メッシュとして一度再構成され,フレーム毎に所定の1つの剛性変換によって移動される。
この表現は直感的な3D制御インタフェースを提供し、観測されていない幾何学がすべてのフレームで独立して再生されるのを防ぐ。
我々は、制御されたシーンを深度ビデオとして表現し、この幾何学的足場をビデオに変換するモーションアダプタを導入し、ビュー一貫性のある外観、照明、非剛性ダイナミクスを合成する。
トレーニングのために、我々はRealCOD-Rigidという20,774本のクリップに剛性のある3Dシーンを自動パイプラインでアノテートしたデータセットを構築した。
さらに、所定の物体の動きへの固執と物体のアイデンティティの保存を共同で評価するIoU(IG-IoU)についても紹介する。
実験により、4Directorは、視覚的品質やカメラやオブジェクト制御において、従来手法よりも一貫して優れていたことが示されている。
関連論文リスト
- Generative Cinematographer: Composing Camera and Object Motion in 3D [10.595342482639685]
本稿では,1枚の画像を3Dシーンの足場に持ち上げるシステムであるGenerative Cinematographer(GenCine)を紹介する。
アーティストは、カメラパスを特定し、選択した前景領域をローカルな3Dモーションハンドルを使用して移動させる。
我々は、一貫したカメラ相対運動、視点変化下での幾何的整合性の改善、および様々な現実世界のシーンにおける強い制御性を示す。
論文 参考訳（メタデータ） (2026-10-01T17:58:09Z) - 4DStreamCtrl: Interactive Video Generation with Online 4D Control [17.839928455658896]
カメラの動き,物体の軌跡,深度を1つの3Dポイントトラック表現に統一できることを示す。
1つのモデルは、ジョイントカメラとオブジェクトコントロール、深度編集、モーショントランスファーを1つの前方パスで実行する。
我々は,このモデルを,長さに依存しない4ステップのデノナイジングステップで任意に長ビデオを生成する因果的学生に蒸留する。
論文 参考訳（メタデータ） (2026-08-26T07:49:39Z) - Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video [63.61099683012546]
本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。
次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。
実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2026-05-25T06:59:26Z) - Ctrl&Shift: High-Quality Geometry-Aware Object Manipulation in Visual Generation [34.92056161129864]
Ctrl&Shiftは3次元表現を明示せずに幾何一貫性のあるオブジェクト操作を実現するためのエンドツーエンド拡散フレームワークである。
我々の重要な洞察は、操作を2つの段階に分解することであり、オブジェクトの除去と、明示的なカメラポーズ制御の下での参照誘導塗装、および両者を統合拡散プロセス内にエンコードすることである。
我々の知る限り、これは、明示的な3Dモデリングに頼ることなく、きめ細かい幾何学的制御とオブジェクト操作の現実世界の一般化を統一する最初のフレームワークである。
論文 参考訳（メタデータ） (2026-02-11T23:36:30Z) - VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control [83.92729346325163]
VerseCrafterは、4D対応のビデオワールドモデルであり、カメラとオブジェクトのダイナミクスの両方を明示的で一貫性のある制御を可能にする。
当社のアプローチは,静的な背景点雲を通じて世界状態をエンコードする,新しい4次元幾何制御表現を中心にしている。
これらの4D制御は、事前訓練されたビデオ拡散モデルのための条件付け信号にレンダリングされ、高忠実でビュー一貫性のあるビデオを生成することができる。
論文 参考訳（メタデータ） (2026-01-08T17:28:52Z) - Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image [88.71287865590273]
そこでTrajScene-60Kについて紹介する。
拡散型4次元シーン軌道生成装置(4D-STraG)を提案する。
次に、4Dポイントトラック表現から任意のカメラトラジェクトリでビデオをレンダリングする4Dビュー合成モジュール(4D-Vi)を提案する。
論文 参考訳（メタデータ） (2025-12-04T17:59:10Z) - SEE4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting [83.5106058182799]
SEE4Dは, カジュアルビデオから4次元世界モデリングを行うための, ポーズのないトラジェクトリ・ツー・カメラ・フレームワークである。
モデル内のビュー条件ビデオは、現実的に合成された画像を認知する前に、ロバストな幾何学を学ぶために訓練される。
クロスビュービデオ生成とスパース再構成のベンチマークでSee4Dを検証した。
論文 参考訳（メタデータ） (2025-10-30T17:59:39Z) - Drag4D: Align Your Motion with Text-Driven 3D Scene Generation [77.79131321983677]
Drag4Dはインタラクティブなフレームワークで、テキスト駆動の3Dシーン生成にオブジェクトの動き制御を統合する。
このフレームワークにより、ユーザーは単一の画像から生成された3Dオブジェクトに対して3Dトラジェクトリを定義し、それらを高品質な3D背景にシームレスに統合することができる。
論文 参考訳（メタデータ） (2025-09-26T05:23:45Z) - Restage4D: Reanimating Deformable 3D Reconstruction from a Single Video [56.781766315691854]
ビデオ条件付き4D再生のための幾何学保存パイプラインである textbfRestage4D を紹介する。
DAVIS と PointOdyssey 上のRestage4D の有効性を検証し,幾何整合性,運動品質,3次元追跡性能の向上を実証した。
論文 参考訳（メタデータ） (2025-08-08T21:31:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。