論文の概要: GSFix3D: Diffusion-Guided Repair of Novel Views in Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2508.14717v1
• Date: Wed, 20 Aug 2025 13:49:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.471451
• Title: GSFix3D: Diffusion-Guided Repair of Novel Views in Gaussian Splatting
• Title（参考訳）: GSFix3D:ガウスめっきにおける拡散誘導による新しい視界の修復
• Authors: Jiaxin Wei, Stefan Leutenegger, Simon Schaefer,
• Abstract要約: GSFix3Dは,非拘束領域における視覚的忠実度を改善する新しいフレームワークである。 コアとなるGSFixerは、カスタマイズした微調整プロトコルによって得られた遅延拡散モデルである。 本稿では,GSFixerが失明した領域にペンキを塗ることを可能にするランダムマスク拡張戦略を提案する。
• 参考スコア（独自算出の注目度）: 14.164970121435022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent developments in 3D Gaussian Splatting have significantly enhanced novel view synthesis, yet generating high-quality renderings from extreme novel viewpoints or partially observed regions remains challenging. Meanwhile, diffusion models exhibit strong generative capabilities, but their reliance on text prompts and lack of awareness of specific scene information hinder accurate 3D reconstruction tasks. To address these limitations, we introduce GSFix3D, a novel framework that improves the visual fidelity in under-constrained regions by distilling prior knowledge from diffusion models into 3D representations, while preserving consistency with observed scene details. At its core is GSFixer, a latent diffusion model obtained via our customized fine-tuning protocol that can leverage both mesh and 3D Gaussians to adapt pretrained generative models to a variety of environments and artifact types from different reconstruction methods, enabling robust novel view repair for unseen camera poses. Moreover, we propose a random mask augmentation strategy that empowers GSFixer to plausibly inpaint missing regions. Experiments on challenging benchmarks demonstrate that our GSFix3D and GSFixer achieve state-of-the-art performance, requiring only minimal scene-specific fine-tuning on captured data. Real-world test further confirms its resilience to potential pose errors. Our code and data will be made publicly available. Project page: https://gsfix3d.github.io.
• Abstract（参考訳）: 近年の3Dガウス・スプレイティングの進歩は、新規なビュー合成を著しく向上させたが、極端な新規な視点や部分的に観察された領域から高品質なレンダリングを生成することは、依然として困難である。 一方、拡散モデルは強力な生成能力を示すが、テキストのプロンプトへの依存と、特定のシーン情報の認識の欠如により、正確な3D再構成作業が妨げられる。 GSFix3Dは,拡散モデルからの事前知識を3次元表現に蒸留し,観察シーンの詳細との整合性を保ちながら,非拘束領域の視覚的忠実度を向上させる新しいフレームワークである。 GSFixerは、メッシュと3Dガウシアンの両方を活用して、さまざまな再構成手法から事前学習された生成モデルをさまざまな環境やアーティファクトタイプに適応し、目に見えないカメラのポーズに対する堅牢なビュー修復を可能にする、カスタマイズされた微調整プロトコルによって得られた潜時拡散モデルである。 さらに,GSFixerが失明した領域にペンキを塗ることを可能にするランダムマスク拡張戦略を提案する。 挑戦的なベンチマークの実験では、GSFix3DとGSFixerは最先端のパフォーマンスを実現しており、キャプチャしたデータに対して、シーン固有の微調整を最小限に抑える必要がある。 実世界のテストは、潜在的なポーズエラーに対するレジリエンスをさらに確認する。 私たちのコードとデータは公開されます。 プロジェクトページ: https://gsfix3d.github.io

関連論文リスト

• GSFixer: Improving 3D Gaussian Splatting with Reference-Guided Video Diffusion Priors [44.901133648775605]
  GSFixerは、スパース入力から再構築された3DGS表現の品質を改善するために設計されたフレームワークである。 本モデルは,視覚幾何学基礎モデルから抽出した参照ビューの2次元意味的特徴と3次元幾何学的特徴を統合した。 3DGSアーティファクト復元評価のための適切なベンチマークが欠如していることを踏まえ,低品質な3DGSを用いてレンダリングされたアーティファクトフレームを含むDL3DV-Resを提案する。
  論文  参考訳（メタデータ） (2025-08-13T09:56:28Z)
• Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models [65.90387371072413]
  本稿では,3次元再構成と新規ビュー合成を向上する新しいパイプラインであるDifix3D+を紹介する。 このアプローチのコアとなるのは、レンダリングされた新規ビューにおけるアーティファクトの強化と削除のためにトレーニングされた、単一ステップのイメージ拡散モデルであるDifixです。
  論文  参考訳（メタデータ） (2025-03-03T17:58:33Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。