論文の概要: Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video

• arxiv url: http://arxiv.org/abs/2605.25500v1
• Date: Mon, 25 May 2026 06:59:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.425891
• Title: Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video
• Title（参考訳）: フル4D:シングルビュービデオからフルスコープ4Dシーンを生成する
• Authors: Tingxi Chen, Ke Hao, Yabo Chen, Zhengxue Cheng, Rong Xie, Li Song, Haibin Huang, Chi Zhang, Xuelong Li,
• Abstract要約: 本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。 次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。 実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 63.61099683012546
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generating 4D scenes from a single-view video is inherently ill-posed: a single viewpoint lacks the information needed to recover a complete, dynamic scene with full coverage. Existing methods are typically limited to monocular videos, simple 3D effects, or only small viewpoint perturbations around the original viewpoint, falling short of true 4D generation. Meanwhile, the lack of large-scale datasets capturing full-scope 4D scenes with synchronized multi-view videos further hinders progress in this direction. We propose a novel single-view video-to-4D framework that casts full-scope 4D generation as a multi-view video synthesis followed by optimization-based 4D reconstruction from the generated views. To instantiate this formulation end-to-end, we make three key contributions. First, we introduce Real-MV-4D, a large-scale dataset of synchronized multi-view videos captured in diverse real-world environments to provide the 4D supervision. Second, we train a multi-view video diffusion model driven by a novel fused time(T)-view(V) attention mechanism that directly embeds geometric reprojection priors and explicit camera conditioning into its view-time interactions. Unlike basic feature fusion, this direct binding strictly aligns the generation process with physical 3D priors to produce a dense, synchronized T$\times $V video grid. Third, rather than relying on non-interactive and inconsistent 2D video interpolations, we lift the synthesized multi-view videos into an explicit 4D representation (i.e. 4DGS), regularized by a Flow Matching Distillation loss that exploits the multi-view prior to improve novel-view rendering. Extensive experiments demonstrate that our method outperforms existing approaches in both visual fidelity and geometric consistency, enabling full-scope 4D scene generation from single-view videos.
• Abstract（参考訳）: 単一の視点では、完全なダイナミックなシーンをフルカバレッジで再現するのに必要な情報が欠如している。 既存の方法は通常、モノクロビデオ、単純な3Dエフェクト、あるいはオリジナルの視点の小さな視点の摂動に限られており、真の4D生成には及ばない。 一方、マルチビュービデオの同期によるフルスコープ4Dシーンをキャプチャする大規模なデータセットの欠如は、この方向の進行をさらに妨げている。 マルチビュー映像合成にフルスコープ 4D 生成を投入し,生成したビューから最適化ベースの 4D 再構成を施した,新しい単一ビュービデオから 4D までのフレームワークを提案する。 この定式化をエンドツーエンドにインスタンス化するには、3つの重要なコントリビューションを行います。 まず,4D の監視を行うために,多様な実環境下で撮影された大規模な同期マルチビュービデオデータセットである Real-MV-4D を紹介する。 第2に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルをトレーニングし、幾何学的再投影と明示的なカメラ条件を直接そのビュー・タイム・インタラクションに組み込む。 基本的な特徴融合とは異なり、この直接結合は、高密度で同期化されたT$\times $Vビデオグリッドを生成するために、生成プロセスを物理的3D先行と厳密に整合させる。 第3に、非インタラクティブで一貫性のない2Dビデオ補間に頼るのではなく、合成したマルチビュービデオを明示的な4D表現(すなわち4DGS)に引き上げ、フローマッチング蒸留損失によって正規化して、新規ビューレンダリングを改善するためにマルチビューを利用する。 広汎な実験により,本手法は視覚的忠実度と幾何的整合性の両方において既存手法よりも優れており,フルスコープ4Dシーン生成が可能であることが示された。

関連論文リスト

• Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image [88.71287865590273]
  そこでTrajScene-60Kについて紹介する。 拡散型4次元シーン軌道生成装置(4D-STraG)を提案する。 次に、4Dポイントトラック表現から任意のカメラトラジェクトリでビデオをレンダリングする4Dビュー合成モジュール(4D-Vi)を提案する。
  論文  参考訳（メタデータ） (2025-12-04T17:59:10Z)
• SyncTrack4D: Cross-Video Motion Alignment and Video Synchronization for Multi-Video 4D Gaussian Splatting [50.69165364520998]
  実世界の非同期ビデオ集合を扱うために, マルチビデオ4Dガウススプラッティング (4DGS) 方式を提案する。 SyncTrack4Dは、4DGSの同時同期と4DGS再構成のためのキューとして動的シーンの高密度な4Dトラック表現を直接活用する。 我々はPanoptic Studio と SyncNeRF Blender に対するアプローチを評価し,0.26 フレーム以下の平均時間誤差でサブフレーム同期精度を示し,高忠実度 4D 再構成は26.3 PSNR スコアに達した。
  論文  参考訳（メタデータ） (2025-12-03T23:05:01Z)
• SyncMV4D: Synchronized Multi-view Joint Diffusion of Appearance and Motion for Hand-Object Interaction Synthesis [47.61773799705708]
  同期多視点HOIビデオと4Dモーションを共同生成する最初のモデルであるSyncMV4Dを紹介する。 本手法は,視覚リアリズム,運動可視性,多視点整合性において,最先端の代替手段よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2025-11-24T17:14:19Z)
• 4DVD: Cascaded Dense-view Video Diffusion Model for High-quality 4D Content Generation [23.361360623083943]
  分離された方法で4Dコンテンツを生成するビデオ拡散モデルである4DVDを提案する。 4DVDをトレーニングするために、ベンチマークからD-averseと呼ばれる動的3Dデータセットを収集します。 新規なビュー合成と4次元生成の両面での最先端性能を実証する実験を行った。
  論文  参考訳（メタデータ） (2025-08-06T14:08:36Z)
• Zero4D: Training-Free 4D Video Generation From Single Video Using Off-the-Shelf Video Diffusion [52.0192865857058]
  そこで,本研究では,市販ビデオ拡散モデルを利用して,単一入力ビデオから多視点ビデオを生成する4Dビデオ生成手法を提案する。 本手法はトレーニング不要で,市販のビデオ拡散モデルを完全に活用し,マルチビュービデオ生成のための実用的で効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-03-28T17:14:48Z)
• Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
  Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。 我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。 結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
  論文  参考訳（メタデータ） (2025-03-26T17:59:44Z)
• Animate3D: Animating Any 3D Model with Multi-view Video Diffusion [47.05131487114018]
  Animate3Dは静的な3Dモデルをアニメーションするための新しいフレームワークである。 本研究では,3Dオブジェクトのアニメーション化に多視点ビデオ拡散プリミティブを活用するために,再構成と4Dスコア蒸留サンプリング(4D-SDS)を組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T05:35:57Z)
• Efficient4D: Fast Dynamic 3D Object Generation from a Single-view Video [42.10482273572879]
  本稿では,効率的な4Dオブジェクト生成フレームワークであるEfficient4Dを提案する。 異なるカメラビューの下で高品質な時空一貫性の画像を生成し、ラベル付きデータとして使用する。 合成ビデオと実ビデオの両方の実験によると、Efficient4Dのスピードは10倍に向上している。
  論文  参考訳（メタデータ） (2024-01-16T18:58:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。