論文の概要: Holo4D: Holistic 4D Reconstruction as Geometric Control for Video Diffusion
- arxiv url: http://arxiv.org/abs/2610.25276v1
- Date: Sun, 18 Oct 2026 13:47:01 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:22:34.064811
- Title: Holo4D: Holistic 4D Reconstruction as Geometric Control for Video Diffusion
- Title（参考訳）: Holo4D:ビデオ拡散のための幾何学的制御としてのホロスティック4次元再構成
- Abstract要約: Holo4Dは、再構築された3D軌跡を総合的なソースビュー4Dの足場として利用するビデオリシューティングフレームワークである。
カメラ制御と新規ビュー合成のためのトラジェクトリベースコンディショニングの価値を示す。
- 参考スコア（独自算出の注目度）: 73.2658576841287
- License:
- Abstract: Synthesizing a monocular video from a new camera trajectory requires preserving the observed scene geometry and motion while completing regions that become newly visible. Feed-forward 4D reconstructors recover the structure of the observed scene, whereas video diffusion models provide a generative prior for completing unseen content. We introduce Holo4D, a video reshooting framework that uses reconstructed 3D trajectories as a holistic source-view 4D scaffold. We project these trajectories into the requested views and encode their geometry and source appearance to guide a pretrained video diffusion model. Together with the source video and target cameras, the scaffold grounds generation in reconstructed observations while leaving unsupported regions to the generative prior. Experiments demonstrate the value of trajectory-based conditioning for camera control and novel-view synthesis. The framework accommodates different 4D reconstructors without retraining the video generator, allowing it to benefit from future advances in source reconstruction. More details can be found in our project page.
- Abstract（参考訳）: 新しいカメラ軌道からモノクロ映像を合成するには、観察されたシーンの形状と動きを保存し、新たに見える領域を完成させる必要がある。
フィードフォワード4Dコンストラクタは、観察されたシーンの構造を復元する一方、ビデオ拡散モデルは、目に見えないコンテンツを完成させる前に生成する。
本稿では,3Dトラジェクトリを総括的ソースビュー4Dの足場として利用するビデオリシューティングフレームワークであるHolo4Dを紹介する。
我々はこれらの軌跡を要求されたビューに投影し、その幾何学とソースの外観を符号化し、事前訓練されたビデオ拡散モデルを導出する。
ソースビデオとターゲットカメラとともに、足場は、再生前の領域から生成前の領域へ移動しながら、再構成された観察で生成する。
カメラ制御と新規ビュー合成のためのトラジェクトリベースコンディショニングの意義を実験的に示す。
このフレームワークは、ビデオジェネレータを再トレーニングすることなく、異なる4Dコンストラクタに対応しており、将来のソース再構成の進歩の恩恵を受けることができる。
詳細はプロジェクトのページにある。
関連論文リスト
- Gen4P: Video Generators are 4D Perceivers [19.923902581839105]
Gen4Pは、モノクロビデオから4Dの幾何学と動きを復元するためのフレームワークである。
単一のエンコーダパスでクリーンなビデオラテントを処理し、軽量なクロスアテンションデコーダを通じて要求された4D属性を予測する。
3Dポイントトラッキング、ビデオ深度、カメラポーズ推定といったタスクにおいて、最先端または競合的なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-10-15T17:59:48Z) - Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video [63.61099683012546]
本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。
次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。
実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2026-05-25T06:59:26Z) - Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting [3.1328424544428852]
インターネット規模のモノクロビデオを活用するためのフレームワークを構築した。
私たちのコアコントリビューションは、ソースビデオ、幾何アンカー、ターゲットビデオからなる擬似多視点トレーニング三脚の生成です。
提案する拡散変圧器は4Dポイントクラウド誘導アンカーを用いて,最先端の時間的整合性を実現する。
論文 参考訳（メタデータ） (2026-04-23T15:32:56Z) - FreeOrbit4D: Training-Free Arbitrary Camera Redirection for Monocular Videos via Geometry-Complete 4D Reconstruction [40.47706321464456]
FreeOrbit4Dは、ビデオ生成のための構造的基盤として、幾何学的完全4Dプロキシを復元することで、幾何学的曖昧さに対処する効果的なトレーニングフリーフレームワークである。
我々の実験によると、FreeOrbit4Dは、大角リダイレクトビデオに挑戦して、より忠実なビデオを生成する。
論文 参考訳（メタデータ） (2026-01-26T22:03:46Z) - LaVR: Scene Latent Conditioned Generative Video Trajectory Re-Rendering using Large 4D Reconstruction Models [52.656349227001925]
モノクロビデオが与えられた場合、ビデオの再レンダリングの目的は、新しいカメラの軌跡からシーンのビューを生成することである。
既存の方法は2つの異なる課題に直面している。
大規模な4次元再構成モデルの潜在空間に埋め込まれた暗黙的幾何学的知識を用いて,これらの課題に対処することを提案する。
論文 参考訳（メタデータ） (2026-01-21T05:46:03Z) - Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image [88.71287865590273]
そこでTrajScene-60Kについて紹介する。
拡散型4次元シーン軌道生成装置(4D-STraG)を提案する。
次に、4Dポイントトラック表現から任意のカメラトラジェクトリでビデオをレンダリングする4Dビュー合成モジュール(4D-Vi)を提案する。
論文 参考訳（メタデータ） (2025-12-04T17:59:10Z) - SEE4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting [83.5106058182799]
SEE4Dは, カジュアルビデオから4次元世界モデリングを行うための, ポーズのないトラジェクトリ・ツー・カメラ・フレームワークである。
モデル内のビュー条件ビデオは、現実的に合成された画像を認知する前に、ロバストな幾何学を学ぶために訓練される。
クロスビュービデオ生成とスパース再構成のベンチマークでSee4Dを検証した。
論文 参考訳（メタデータ） (2025-10-30T17:59:39Z) - 4Real-Video-V2: Fused View-Time Attention and Feedforward Reconstruction for 4D Scene Generation [66.20991603309054]
本稿では,映像フレームの4次元時間格子と3次元ガウス粒子の時間ステップ毎にフィードフォワードアーキテクチャを用いて計算可能な最初のフレームワークを提案する。
まず,2ストリーム設計において,空間的および時間的注意を連続的に,あるいは並列に行う4次元ビデオ拡散アーキテクチャを解析する。
第2部では、ガウスヘッド、カメラトークン置換アルゴリズム、追加の動的レイヤとトレーニングを導入し、既存の3D再構成アルゴリズムを拡張した。
論文 参考訳（メタデータ） (2025-06-18T23:44:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。