論文の概要: Video Models as Native 4D Renderers: World-Grounded Conditioning from Animated Mesh
- arxiv url: http://arxiv.org/abs/2608.00094v2
- Date: Tue, 04 Aug 2026 07:01:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 13:15:27.411998
- Title: Video Models as Native 4D Renderers: World-Grounded Conditioning from Animated Mesh
- Title（参考訳）: ネイティブ4Dレンダーとしてのビデオモデル - アニメーションメッシュによるワールドグラウンドコンディショニング
- Abstract要約: 我々は、Wan2.2カメラ制御をシャーカー線のみから共同カメラ+幾何学インタフェースまで拡張する参照誘導レンダリングであるDARを提案する。
Darは、アニメーションメッシュからニューラルな4D Gバッファを投射し、それをワイドコントロールアダプタで注入する。
68ケースのDAR-4Dベンチマークでは、LoRA DARはPSNR 23.22、SSIM 0.895、LPIPS 0.134に達し、市販のWan2.2-Depthを1.54dBPSNRに改善した。
- 参考スコア（独自算出の注目度）: 27.530445765032137
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pretrained video diffusion models can act as renderers when the desired scene state is already specified by an animated mesh, a camera trajectory, and a reference image. This 4D generative rendering setting raises a representation question: what image-format condition lets a video backbone obey both camera motion and scene-internal animation? We propose DAR, a reference-guided renderer that extends Wan2.2 camera control from Plücker rays alone to a joint camera-plus-geometry interface. DAR projects a neural 4D G-buffer (tracking, world position, and normal) from the animated mesh and injects it through a widened control adapter while preserving the pretrained image-to-video prior. The central design choice is the pair of tracking and world position. Tracking identifies the persistent surface element that should carry appearance; world position gives its current scene-coordinate state; normal supplies local shape. Depth plus calibrated rays can recover 3D in principle, but depth is a camera-dependent chart in which camera and object motion are mixed. On the 68-case DAR-4D benchmark, LoRA DAR reaches PSNR 23.22, SSIM 0.895, and LPIPS 0.134, improving over off-the-shelf Wan2.2-Depth by 1.54 dB PSNR; a full fine-tune reaches PSNR 25.36 and SSIM 0.917. Matched ablations show that replacing world position by depth reduces PSNR by 1.26--1.55 dB at every checkpoint, supporting tracking+world-position correspondence as a practical 4D rendering condition.
- Abstract（参考訳）: 予めトレーニングされたビデオ拡散モデルは、アニメーションメッシュ、カメラ軌跡、参照画像によって既に所望のシーン状態が特定されているときにレンダラーとして機能する。
この4D生成レンダリング設定は、ビデオバックボーンがカメラの動きとシーン内部のアニメーションの両方に従属する画像フォーマット条件について、表現的疑問を提起します。
我々は,Wan2.2カメラ制御をPlücker線のみから共同カメラ+ジオメトリインタフェースまで拡張する参照誘導型レンダラーDARを提案する。
DARは、アニメーションメッシュからニューラルな4D Gバッファ(追跡、世界位置、正常)を投影し、事前訓練された画像からビデオまで保存しながら、広義の制御アダプタを介して注入する。
中心となる設計選択は、追跡と世界位置のペアである。
トラッキングは、外観を持つべき永続的な表面要素を特定し、世界位置は現在のシーン調整状態を与える。
奥行きと校正された光線は原則として3Dを復元できるが、奥行きはカメラと物体の動きを混合したカメラ依存のチャートである。
68ケースのDAR-4Dベンチマークでは、LoRA DARはPSNR 23.22、SSIM 0.895、LPIPS 0.134に達し、市販のWan2.2-Depthを1.54dB PSNRに改善した。
一致したアブレーションにより、PSNRはチェックポイント毎に1.26--1.55dB削減され、実際の4Dレンダリング条件として追跡+世界位置対応がサポートされている。
関連論文リスト
- Manifold4D: Denoising on Point Cloud Rendered Manifolds for Video Re-shooting [16.163736801043942]
ビデオの再撮影は、ユーザが指定したカメラ軌道に沿って、ダイナミックシーンのモノクロビデオを再レンダリングする。
支配的なレシピは、ターゲットの幾何学を明示的に提供します。
フローマッチングの初期ノイズに直接レンダリングを注入するMANIFOLD4Dを提案する。
論文 参考訳（メタデータ） (2026-08-28T10:39:52Z) - 4DStreamCtrl: Interactive Video Generation with Online 4D Control [17.839928455658896]
カメラの動き,物体の軌跡,深度を1つの3Dポイントトラック表現に統一できることを示す。
1つのモデルは、ジョイントカメラとオブジェクトコントロール、深度編集、モーショントランスファーを1つの前方パスで実行する。
我々は,このモデルを,長さに依存しない4ステップのデノナイジングステップで任意に長ビデオを生成する因果的学生に蒸留する。
論文 参考訳（メタデータ） (2026-08-26T07:49:39Z) - Beyond Pixels: From Video Priors to 4D Worlds [27.940355511092864]
4D生成はテキストや画像などの条件から動的3Dシーンを合成する。
既存の方法は、別々の4DモデルでRGBビデオを生成するか、特定のビデオジェネレータを適用して幾何学を直接予測するかのいずれかである。
我々は、直接潜伏4D生成を導入し、それを潜伏4Dとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-08-11T10:02:41Z) - OmniX: Any-view and Any-time 4D Reconstruction via Feed-forward Trajectory Fields [69.80996430631079]
OmniXというフィードフォワードの4D再構成フレームワークを提案し、大きなカメラモーションを持つビデオから各ピクセルの高密度な3D点軌跡を推定する。
3次元運動のスパース構造とローランク構造を利用して、これらのトークンはグローバルな相互作用を効率的に保ちながら、全画像にわたる全画素の軌跡場を生成する。
論文 参考訳（メタデータ） (2026-07-12T17:05:18Z) - VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control [83.92729346325163]
VerseCrafterは、4D対応のビデオワールドモデルであり、カメラとオブジェクトのダイナミクスの両方を明示的で一貫性のある制御を可能にする。
当社のアプローチは,静的な背景点雲を通じて世界状態をエンコードする,新しい4次元幾何制御表現を中心にしている。
これらの4D制御は、事前訓練されたビデオ拡散モデルのための条件付け信号にレンダリングされ、高忠実でビュー一貫性のあるビデオを生成することができる。
論文 参考訳（メタデータ） (2026-01-08T17:28:52Z) - SyncTrack4D: Cross-Video Motion Alignment and Video Synchronization for Multi-Video 4D Gaussian Splatting [50.69165364520998]
実世界の非同期ビデオ集合を扱うために, マルチビデオ4Dガウススプラッティング (4DGS) 方式を提案する。
SyncTrack4Dは、4DGSの同時同期と4DGS再構成のためのキューとして動的シーンの高密度な4Dトラック表現を直接活用する。
我々はPanoptic Studio と SyncNeRF Blender に対するアプローチを評価し,0.26 フレーム以下の平均時間誤差でサブフレーム同期精度を示し,高忠実度 4D 再構成は26.3 PSNR スコアに達した。
論文 参考訳（メタデータ） (2025-12-03T23:05:01Z) - SEE4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting [83.5106058182799]
SEE4Dは, カジュアルビデオから4次元世界モデリングを行うための, ポーズのないトラジェクトリ・ツー・カメラ・フレームワークである。
モデル内のビュー条件ビデオは、現実的に合成された画像を認知する前に、ロバストな幾何学を学ぶために訓練される。
クロスビュービデオ生成とスパース再構成のベンチマークでSee4Dを検証した。
論文 参考訳（メタデータ） (2025-10-30T17:59:39Z) - Multi-View 3D Point Tracking [67.21282192436031]
本稿では,複数のカメラビューを用いた動的シーンにおける任意の点の追跡を目的とした,データ駆動型マルチビュー3Dポイントトラッカーについて紹介する。
本モデルでは,現実的な数のカメラを用いて直接3次元対応を推定する。
我々は5K合成多視点Kubricシーケンスをトレーニングし、2つの実世界のベンチマークで評価する。
論文 参考訳（メタデータ） (2025-08-28T17:58:20Z) - Easi3R: Estimating Disentangled Motion from DUSt3R Without Training [69.51086319339662]
Easi3Rは,4次元再構成のための簡易かつ効率的なトレーニングフリー手法である。
提案手法は,事前学習やネットワークファインチューニングの必要性を排除し,推論中の注意適応を適用した。
実世界のダイナミックビデオの実験では、従来の最先端手法よりも軽量な注意適応が著しく優れていたことが示されている。
論文 参考訳（メタデータ） (2025-03-31T17:59:58Z) - 4K4DGen: Panoramic 4D Generation at 4K Resolution [67.98105958108503]
一つのパノラマを没入的な4D体験に高めるという課題に取り組む。
初めて、4K解像度で360$circ$のビューで全方位動的シーンを生成する能力を実証した。
高品質なパノラマ・ト・4Dを4Kの解像度で初めて実現した。
論文 参考訳（メタデータ） (2024-06-19T13:11:02Z) - Consistent4D: Consistent 360{\deg} Dynamic Object Generation from
Monocular Video [15.621374353364468]
Consistent4Dは、モノクロビデオから4D動的オブジェクトを生成するための新しいアプローチである。
我々は、360度ダイナミックオブジェクト再構成を4次元生成問題として、退屈なマルチビューデータ収集とカメラキャリブレーションの必要性を排除した。
論文 参考訳（メタデータ） (2023-11-06T03:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。