論文の概要: 4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors
- arxiv url: http://arxiv.org/abs/2609.21176v2
- Date: Mon, 21 Sep 2026 22:22:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.857839
- Title: 4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors
- Title(参考訳): 4DGS-Fixer:ビデオ拡散プリミティブによる反復リファインメントによる4Dガウス撮影
- Abstract要約: 本稿では,スパースビュー映像からの動的シーン合成の課題について述べる。
既存の手法では、幾何学的事前、適応最適化、あるいは密度制御戦略を用いて、スパース観測下での4次元ガウスモデリングを改善する。
ダイナミックな4Dシーンの完全性と一貫性を向上させるために,ビデオ拡散モデルに基づく新しい反復的改善フレームワークを提案する。
- 参考スコア(独自算出の注目度): 28.70776509810571
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses the challenges of dynamic scene synthesis from sparse-view videos. Existing methods employ geometric priors, adaptive optimization, or density-control strategies to improve 4D Gaussian modeling under sparse observations. However, they cannot fundamentally resolve the ill-posed problem caused by insufficient observations and missing scene information. Moreover, sparse-view 4D Gaussian Splatting (4DGS) often suffers from poor geometric initialization: with only a few input views, COLMAP typically reconstructs sparse and incomplete point clouds, leaving large scene regions without sufficient Gaussian support and making them difficult to recover through subsequent optimization. To address these limitations, we propose a novel iterative refinement framework based on a video diffusion model to improve the completeness and consistency of dynamic 4D scenes. Specifically, we first estimate multi-view depth maps and fuse them into dense point clouds to provide more complete geometric initialization for a dynamic 4DGS representation. We then employ a pretrained video restoration model to refine sequences rendered along novel camera trajectories at different time steps. The restored sequences serve as pseudo-supervision to regularize and iteratively refine the 4DGS representation. Experiments on a widely used benchmark dataset demonstrate that our method substantially outperforms existing baselines, achieving nearly a 2 dB PSNR improvement over the previous best-performing method.
- Abstract(参考訳): 本稿では,スパースビュー映像からの動的シーン合成の課題について述べる。
既存の手法では、幾何学的事前、適応最適化、あるいは密度制御戦略を用いて、スパース観測下での4次元ガウスモデリングを改善する。
しかし、不十分な観測やシーン情報の欠落によって生じる不適切な問題を根本的に解決することは不可能である。
さらに、スパースビュー 4D Gaussian Splatting (4DGS) はしばしば幾何学的初期化に苦しむ: わずかな入力ビューしか持たず、COLMAPは通常スパースと不完全な点雲を再構築し、ガウス的サポートが十分でなければ大きなシーン領域を残し、その後の最適化によって回復することが困難になる。
これらの制約に対処するため,ダイナミックな4Dシーンの完全性と一貫性を改善するために,ビデオ拡散モデルに基づく新しい反復改善フレームワークを提案する。
具体的には、まずマルチビュー深度マップを推定し、それらを高密度の点雲に融合し、動的4DGS表現のためのより完全な幾何学的初期化を提供する。
次に、事前訓練されたビデオ復元モデルを用いて、異なる時間ステップで新しいカメラ軌道に沿って描画されたシーケンスを精査する。
復元されたシーケンスは、4DGS表現を規則化し反復的に洗練するために擬似スーパービジョンとして機能する。
提案手法が既存のベースラインを著しく上回り,従来のベストパフォーマンス手法よりも約2dBのPSNR改善を実現していることを示す。
関連論文リスト
- D^2-4DGS: Dual-Depth Guided Sparse-Camera 4D Gaussian Splatting [0.0]
デュアルソース深度で導かれるスパース・カメラダイナミック4Dガウス・スプレイティング・フレームワークを提案する。
9つのデータセットビュー設定全体にわたって、D$2$-4DGSは最も高いPSNRを達成し、最高の競合メソッドよりも平均1.33dB改善している。
論文 参考訳(メタデータ) (2026-08-03T01:46:19Z) - Lift4D: Harmonizing Single-View 3D Estimation for 4D Reconstruction In-the-Wild [87.49244020695505]
モノクロビデオから動的非剛体オブジェクトを再構成するには、幾何学と外観に関するデータ駆動の先行と直接観察から視覚的手がかりを統合する必要がある。
以前のアプローチでは、視覚的な入力から直接4D表現を予測するか、ビデオエビデンスに基づいて変形して洗練される3D表現を初期化する。
We present Lift4D, a test-time optimization framework that handle both limits。
論文 参考訳(メタデータ) (2026-06-22T17:59:54Z) - Geometry-Consistent 4D Gaussian Splatting for Sparse-Input Dynamic View Synthesis [17.560425604804305]
GC-4DGSは幾何学的整合性を4次元ガウススプラッティング(4DGS)に注入する新しいフレームワークである
幾何学的整合性を4次元ガウススプラッティング(4DGS)に注入する新しいフレームワークであるGC-4DGSを提案する。
論文 参考訳(メタデータ) (2025-11-28T10:11:48Z) - Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。
単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
論文 参考訳(メタデータ) (2025-11-01T11:16:25Z) - Optimized Minimal 4D Gaussian Splatting [50.29519144753797]
4D Gaussian Splattingは動的シーン表現の新しいパラダイムとして登場し、複雑な動きを持つシーンのリアルタイムレンダリングを可能にした。
何百万人ものガウス人が高忠実度再構築を必要としているため、ストレージオーバーヘッドの大きな課題に直面している。
OMG4は、4次元ガウス模型を忠実に表現できる有能なガウスのコンパクトな集合を構成するフレームワークである。
論文 参考訳(メタデータ) (2025-10-04T16:11:13Z) - Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [55.704264233274294]
ぼやけたモノクロ映像から高品質な4Dモデルを再構成するためのDeblur4DGSを提案する。
我々は露光時間内の連続的動的表現を露光時間推定に変換する。
Deblur4DGSは、新規なビュー合成以外にも、複数の視点からぼやけたビデオを改善するために応用できる。
論文 参考訳(メタデータ) (2024-12-09T12:02:11Z) - 4D Gaussian Splatting in the Wild with Uncertainty-Aware Regularization [43.81271239333774]
そこで本研究では,カジュアルに記録されたモノクロビデオから動的シーンを動的に撮影する4DGSアルゴリズムを提案する。
提案手法は,ハンドヘルドモノクラーカメラで撮影した映像から4DGS再構成の性能を向上することを示す。
論文 参考訳(メタデータ) (2024-11-13T18:56:39Z) - EG4D: Explicit Generation of 4D Object without Score Distillation [105.63506584772331]
DG4Dは、スコア蒸留なしで高品質で一貫した4Dアセットを生成する新しいフレームワークである。
私たちのフレームワークは、世代品質のベースラインをかなりのマージンで上回ります。
論文 参考訳(メタデータ) (2024-05-28T12:47:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。