論文の概要: VidSplat: Gaussian Splatting Reconstruction with Geometry-Guided Video Diffusion Priors
- arxiv url: http://arxiv.org/abs/2605.11424v1
- Date: Tue, 12 May 2026 02:20:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.527098
- Title: VidSplat: Gaussian Splatting Reconstruction with Geometry-Guided Video Diffusion Priors
- Title(参考訳): VidSplat:Geometry-Guided Video Diffusion Priorsを用いたガウススプラッティング再構成
- Authors: Jimin Tang, Wenyuan Zhang, Junsheng Zhou, Zian Huang, Kanle Shi, Shenkun Xu, Yu-Shen Liu, Zhizhong Han,
- Abstract要約: VidSplatは、トレーニング不要な生成的再構築フレームワークである。
生成と再構築の効果的な統合を可能にする2つの重要な課題に取り組む。
広範に使用されているベンチマーク実験は、スパースビューのシーン再構成における優れた性能を示している。
- 参考スコア(独自算出の注目度): 79.88300861391114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian Splatting has achieved remarkable progress in multi-view surface reconstruction, yet it exhibits notable degradation when only few views are available. Although recent efforts alleviate this issue by enhancing multi-view consistency to produce plausible surfaces, they struggle to infer unseen, occluded, or weakly constrained regions beyond the input coverage. To address this limitation, we present VidSplat, a training-free generative reconstruction framework that leverages powerful video diffusion priors to iteratively synthesize novel views that compensate for missing input coverage, and thereby recover complete 3D scenes from sparse inputs. Specifically, we tackle two key challenges that enable the effective integration of generation and reconstruction. First, for 3D consistent generation, we elaborate a training-free, stage-wise denoising strategy that adaptively guides the denoising direction toward the underlying geometry using the rendered RGB and mask images. Second, to enhance the reconstruction, we develop an iterative mechanism that samples camera trajectories, explores unobserved regions, synthesizes novel views, and supplements training through confidence weighted refinement. VidSplat performs robustly to sparse input and even a single image. Extensive experiments on widely used benchmarks demonstrate our superior performance in sparse-view scene reconstruction.
- Abstract(参考訳): ガウススプラッティングは多面体表面の再構成において顕著な進歩を遂げているが、ほんのわずかな視界しか得られない場合に顕著な劣化が見られる。
近年の取り組みは、多視点整合性を高めて可塑性表面を生成することでこの問題を軽減するが、彼らは入力カバレッジを超えた、見えない、隠蔽された、あるいは弱い制約のある領域を推測するのに苦労している。
この制限に対処するために、VidSplatは、強力なビデオ拡散を利用したトレーニング不要な生成再構成フレームワークで、不足する入力カバレッジを補う新しいビューを反復的に合成し、スパース入力から完全な3Dシーンを復元する。
具体的には、生成と再構築の効果的な統合を可能にする2つの重要な課題に取り組む。
まず、3次元一貫した生成のために、レンダリングされたRGBとマスク画像を用いて、下層の幾何学的方向を適応的に案内する訓練不要の段階的認知戦略を詳述する。
第2に, カメラトラジェクトリを抽出し, 未観測領域を探索し, 新規なビューを合成し, 信頼度重み付けによるトレーニングを補完する反復的機構を開発する。
VidSplatは、入力をスパースし、単一のイメージさえも確実に実行します。
広範に使用されているベンチマークの大規模な実験は、スパースビューのシーン再構成における優れた性能を示している。
関連論文リスト
- Rewis3d: Reconstruction Improves Weakly-Supervised Semantic Segmentation [58.37682525044409]
Rewis3dは、フィードフォワード3D再構成の最近の進歩を活用し、2D画像上の弱い教師付きセマンティックセグメンテーションを著しく改善するフレームワークである。
Rewis3dはスパース監視における最先端のパフォーマンスを達成し、ラベルの追加や推論オーバーヘッドを必要とせずに既存のアプローチを2~7%上回ることを示す。
論文 参考訳(メタデータ) (2026-03-06T15:25:20Z) - G4Splat: Geometry-Guided Gaussian Splatting with Generative Prior [53.762256749551284]
我々は,3次元シーン再構成を効果的に活用するための基本的な前提条件として,正確な幾何学を同定する。
生成パイプライン全体にこの幾何学的ガイダンスを導入し、可視性マスク推定を改善し、新しいビュー選択をガイドし、ビデオ拡散モデルに着色した場合の多視点一貫性を向上させる。
本手法は,屋内および屋外の両方のシナリオにおいて,高い一般化性を有するシングルビュー入力とアンポーズ映像を自然にサポートする。
論文 参考訳(メタデータ) (2025-10-14T03:06:28Z) - SpatialCrafter: Unleashing the Imagination of Video Diffusion Models for Scene Reconstruction from Limited Observations [44.53106180688135]
この作業は、スパースやシングルビューのインプットから3Dシーンを再構築する上での課題である。
SpatialCrafterは,ビデオ拡散モデルにおける豊富な知識を活用して,可算的な追加観測を生成するフレームワークである。
トレーニング可能なカメラエンコーダと、明示的な幾何学的制約に対するエピポーラアテンション機構により、精密なカメラ制御と3D整合性を実現する。
論文 参考訳(メタデータ) (2025-05-17T13:05:13Z) - GenFusion: Closing the Loop between Reconstruction and Generation via Videos [24.195304481751602]
本稿では,再現性のあるRGB-Dレンダリングにおける映像フレームの条件付けを学習する再構成駆動型ビデオ拡散モデルを提案する。
また、生成モデルからトレーニングセットへの復元フレームを反復的に追加する循環核融合パイプラインを提案する。
論文 参考訳(メタデータ) (2025-03-27T07:16:24Z) - Decompositional Neural Scene Reconstruction with Generative Diffusion Prior [64.71091831762214]
完全な形状と詳細なテクスチャを持つ3次元シーンの分解的再構成は、下流の応用に興味深い。
近年のアプローチでは、この問題に対処するために意味的あるいは幾何学的正則化が取り入れられているが、制約の少ない領域では著しく劣化している。
本稿では,SDS(Score Distillation Sampling)の形で拡散先行値を用いたDP-Reconを提案し,新しい視点下で個々の物体の神経表現を最適化する。
論文 参考訳(メタデータ) (2025-03-19T02:11:31Z) - DGTR: Distributed Gaussian Turbo-Reconstruction for Sparse-View Vast Scenes [81.56206845824572]
新規ビュー合成(NVS)アプローチは、広大なシーン再構築において重要な役割を担っている。
大規模な環境下では、復元の質が悪くなる場合が少なくない。
本稿では,スパース・ビュー・ワイド・シーンのための効率的なガウス再構成のための分散フレームワークであるDGTRを提案する。
論文 参考訳(メタデータ) (2024-11-19T07:51:44Z) - PVP-Recon: Progressive View Planning via Warping Consistency for Sparse-View Surface Reconstruction [49.7580491592023]
PVP-Recon, 新規かつ効果的なスパースビュー表面再構成法を提案する。
PVP-Reconは3つのビューで初期表面の再構築を開始し、徐々に新しいビューを追加する。
このプログレッシブビュー計画の進捗は、神経SDFベースの再構築モジュールによってインターリーブされる。
論文 参考訳(メタデータ) (2024-09-09T10:06:34Z) - DiViNeT: 3D Reconstruction from Disparate Views via Neural Template
Regularization [7.488962492863031]
本稿では3つの異なるRGB画像を入力として用いたボリュームレンダリングに基づくニューラルサーフェス再構成手法を提案する。
我々のキーとなる考え方は再建を規則化することであり、これは深刻な問題であり、スパースビューの間に大きなギャップを埋めることである。
提案手法は, 従来の手法の中でも, 疎外な視点で, 最高の復元品質を達成できる。
論文 参考訳(メタデータ) (2023-06-07T18:05:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。