論文の概要: VGGT-Diff: Visual Geometry Meets Diffusion for Sparse-View Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2609.33253v1
- Date: Sun, 27 Sep 2026 05:57:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 01:50:07.783336
- Title: VGGT-Diff: Visual Geometry Meets Diffusion for Sparse-View Novel View Synthesis
- Title（参考訳）: VGGT-Diff: スパースビューの新しいビュー合成のための拡散と視覚幾何学
- Abstract要約: VGGT-Diffは、スパースビューの新規ビューのための幾何学的な多視点拡散モデルである。
本稿では,ロバスト性向上のためのトレーニング時正規化と推論時ガイダンスを組み合わせたロバストな幾何学的条件付けを提案する。
- 参考スコア（独自算出の注目度）: 42.939931116859405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present VGGT-Diff, a geometry-routed multi-view diffusion model for sparse-view novel view synthesis. Existing novel view synthesis (NVS) methods face a fundamental trade-off: reconstruction-based approaches preserve observed geometry but struggle to synthesize unseen regions, while diffusion-based methods provide strong generative priors yet rely on implicit source-to-query correspondence. VGGT-Diff bridges these regimes by routing visual geometry latents from VGGT-Ω into a pretrained video diffusion model. Each visual token is associated with a 3D point and confidence, then transformed into query-aligned latent conditions through a confidence-aware Visual Geometry Router (VGR) that preserves front and back surface evidence. These conditions guide joint target-view denoising, while Point-Track Residual Consistency (PTRC) regularizes predicted-clean residuals along reliable 3D tracks, improving multi-view stability. We further introduce robust geometry conditioning, combining training-time regularization with inference-time guidance for improved robustness. Experiments show competitive or state-of-the-art performance across interpolation and extrapolation under different viewpoint difficulties. Our code is available at https://github.com/chenkangjie1123/VGGT-Diff.
- Abstract（参考訳）: VGGT-Diffは、スパースビューの新規ビュー合成のための幾何学的制約付き多視点拡散モデルである。
既存の新しいビュー合成法(NVS)は基本的なトレードオフに直面している: 再構成に基づくアプローチは観測された幾何学を保存するが、目に見えない領域を合成するのに苦労する。
VGGT-Diffは、VGGT-Ωから予め訓練されたビデオ拡散モデルに視覚幾何学ラテントをルーティングすることで、これらのレジームを橋渡しする。
それぞれの視覚トークンは3Dポイントと信頼性に関連付けられ、その後、前面と背面の証拠を保存する信頼を意識したビジュアルジオメトリ・ルータ(VGR)を通じてクエリ整合性のある潜伏状態に変換される。
これらの条件は統合目標視の認知を誘導する一方、PTRC(Point-Track Residual Consistency)は信頼性の高い3Dトラックに沿って予測クリーン残差を規則化し、マルチビュー安定性を向上する。
さらに、ロバストな幾何学的条件付けを導入し、トレーニング時正規化と推論時ガイダンスを組み合わせることにより、ロバストさを向上させる。
実験では、異なる視点の困難下での補間と外挿をまたいで、競争力や最先端のパフォーマンスを示す。
私たちのコードはhttps://github.com/chenkangjie1123/VGGT-Diffで公開されています。
関連論文リスト
- GeoVerse: World-Consistent Novel View Synthesis in Geometric Latent Space [51.75763755769632]
事前訓練された3次元基礎モデル内で生成を行うことにより,世界一貫性のある新規ビューを合成するフレームワークであるGeoVerseを提案する。
具体的には、GeoVerseはWan2.2 VACEからマルチレベル機能を抽出し、制御ネットスタイルのアダプタを介して幾何学的潜在拡散モデルに注入する。
多様なデータセットにわたる実験では、DL3DVでは2.23dB、Mip-NeRF360では32.4%、視品質と幾何整合性が向上した。
論文 参考訳（メタデータ） (2026-09-28T17:51:48Z) - PRG-Fusion: Orchestrating Generative Priors with Reconstruction Evidence for Driving View Synthesis [16.51293833344591]
本研究では,地域間における生成先行を整理するために,復元証拠を用いたビュー合成を駆動するフレームワークであるPRG-Fusionを提案する。
具体的には、再建された運転シーンから地域的復元証拠を抽出し、保存、修復、生成(PRG)ラベルに変換する。
次に、2段階の訓練パラダイムに従い、まず疎LiDARプロジェクションから幾何学的制御を確立し、次に密度の高い3DGSから外観制御を学ぶ。
論文 参考訳（メタデータ） (2026-09-07T02:34:51Z) - DualDiff3D: Dual Structure-Appearance Diffusion Priors for Reliability-Enhanced 3D Gaussian Splatting [71.316050612276]
3次元再構成と新規ビュー合成は、しばしばレンダリングされた新規ビューの再現品質とアーティファクトを低下させる。
最近の試みは、強力な拡散前処理を活用しようとするが、通常は1つのネットワークで追加の次元に沿ってレンダリングと参照ビューを処理している。
本稿では,2つの拡散先行処理を,SAAモジュールで実現する新しいパイプラインであるDualDiffを提案する。
提案手法は推論のみの設定でも最先端の手法よりも優れており,さらなる性能向上はトレーニングによって達成できる。
論文 参考訳（メタデータ） (2026-09-01T16:45:53Z) - FlowObject: Flow Steering for Bridging Generative Priors and Reconstruction Fidelity [34.142288038459704]
FlowObjectは、スパースビューの3D再構成をトレーニング不要でガイド付き逆問題として再構成するフレームワークである。
提案手法は、幾何学的完全性およびビュー依存外観忠実度の両方において、最先端の生成モデルと最適化に基づくフレームワークを著しく上回る。
論文 参考訳（メタデータ） (2026-06-17T12:42:09Z) - GeoNVS: Geometry Grounded Video Diffusion for Novel View Synthesis [73.97869945427645]
GeoNVSは、幾何学的忠実度とカメラ制御性の両方を明示的な3D幾何学的ガイダンスによって強化する新規なビューシンセサイザーである。
GS-Adapterは3次元ガウス表現に入力ビュー拡散特徴を持ち上げ、幾何学的に矛盾しない表現を補正するために拡散特徴を適応的に融合させる。
9シーンと18設定の実験では最先端のパフォーマンスを示し、SEVAやCameraCtrlよりも11.3%、14.9%改善されている。
論文 参考訳（メタデータ） (2026-03-16T08:23:00Z) - Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video [76.32954467706581]
本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。
階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。
実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
論文 参考訳（メタデータ） (2026-02-08T09:53:21Z) - VideoGPA: Distilling Geometry Priors for 3D-Consistent Video Generation [34.46015478321541]
VideoGPAは、高密度な嗜好信号を自動的に導出する、データ効率のよい自己組織化フレームワークである。
人間のアノテーションを必要とせずに、固有の3D一貫性に向けた生成的分布を操縦する。
最小限の選好ペアを用いて、時間的安定性、身体的可視性、動きコヒーレンスを大幅に向上させる。
論文 参考訳（メタデータ） (2026-01-30T18:59:57Z) - TALO: Pushing 3D Vision Foundation Models Towards Globally Consistent Online Reconstruction [57.46712611558817]
3次元視覚基礎モデルでは、1つのフィードフォワードパスを通して、未校正画像からキー3D属性を再構成する際の強力な一般化が示されている。
近年の戦略は,グローバルトランスフォーメーションの解決によって連続的な予測と整合するが,本分析では,仮定の妥当性,局所的なアライメント範囲,雑音的幾何の下でのロバスト性といった基本的な限界を明らかにしている。
本研究では,グローバルに伝播する制御点を利用して空間的に異なる不整合を補正する,Tin Plate Splineに基づく高DOFおよび長期アライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-02T02:22:20Z) - Structural Energy-Guided Sampling for View-Consistent Text-to-3D [18.973527029488746]
テキスト・トゥ・3D生成はしばしばジャヌス問題に悩まされ、オブジェクトが他の角度から重複または歪んだ幾何学に崩壊する。
本研究では, 実時間で完全にマルチビューの整合性を実現する学習自由なプラグイン・アンド・プレイフレームワークSEGSを提案する。
論文 参考訳（メタデータ） (2025-08-23T06:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。