論文の概要: Taming Video Diffusion Prior with Scene-Grounding Guidance for 3D Gaussian Splatting from Sparse Inputs

• arxiv url: http://arxiv.org/abs/2503.05082v1
• Date: Fri, 07 Mar 2025 01:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 15:56:48.431938
• Title: Taming Video Diffusion Prior with Scene-Grounding Guidance for 3D Gaussian Splatting from Sparse Inputs
• Title（参考訳）: スパース入力からの3次元ガウス平滑化のためのシーングラウンド誘導によるビデオ拡散前処理
• Authors: Yingji Zhong, Zhihao Li, Dave Zhenyu Chen, Lanqing Hong, Dan Xu,
• Abstract要約: 本稿では,映像拡散モデルから学習した先行情報を生かした生成パイプラインによる再構成手法を提案する。 最適化された3DGSからのレンダリングシーケンスに基づく新しいシーングラウンドガイダンスを導入し,拡散モデルを用いて一貫したシーケンスを生成する。 提案手法はベースラインを大幅に改善し,挑戦的なベンチマークで最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 28.381287866505637
• License:
• Abstract: Despite recent successes in novel view synthesis using 3D Gaussian Splatting (3DGS), modeling scenes with sparse inputs remains a challenge. In this work, we address two critical yet overlooked issues in real-world sparse-input modeling: extrapolation and occlusion. To tackle these issues, we propose to use a reconstruction by generation pipeline that leverages learned priors from video diffusion models to provide plausible interpretations for regions outside the field of view or occluded. However, the generated sequences exhibit inconsistencies that do not fully benefit subsequent 3DGS modeling. To address the challenge of inconsistencies, we introduce a novel scene-grounding guidance based on rendered sequences from an optimized 3DGS, which tames the diffusion model to generate consistent sequences. This guidance is training-free and does not require any fine-tuning of the diffusion model. To facilitate holistic scene modeling, we also propose a trajectory initialization method. It effectively identifies regions that are outside the field of view and occluded. We further design a scheme tailored for 3DGS optimization with generated sequences. Experiments demonstrate that our method significantly improves upon the baseline and achieves state-of-the-art performance on challenging benchmarks.
• Abstract（参考訳）: 3Dガウススプラッティング(3DGS)を用いた新しいビュー合成の成功にもかかわらず、スパースインプットを用いたモデリングシーンは依然として課題である。 本研究では,実世界のスパース・インプット・モデリングにおいて,外挿と隠蔽という2つの重要な問題に対処する。 これらの課題に対処するために,ビデオ拡散モデルから学習した先行情報を活用した生成パイプラインを用いて,視野外領域や閉鎖領域の可視的解釈を実現することを提案する。 しかし、生成されたシーケンスは、その後の3DGSモデリングに完全に恩恵を受けない不整合を示す。 不整合性の問題に対処するために,最適化された3DGSのレンダリングシーケンスに基づく新しいシーングラウンドガイダンスを導入し,拡散モデルを用いて一貫したシーケンスを生成する。 このガイダンスはトレーニング不要であり、拡散モデルの微調整は不要である。 また,全体像のモデリングを容易にするために,軌道の初期化手法を提案する。 ビューのフィールドの外にあり、隠された領域を効果的に識別する。 さらに、生成されたシーケンスで3DGS最適化に適したスキームを設計する。 実験により,本手法はベースラインを著しく改善し,挑戦的なベンチマークで最先端の性能を達成することが示された。

関連論文リスト

• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors [34.91966359570867]
  スパースビューの再構築は本質的に不適切であり、制約を受けていない。 本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。 提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-05T12:09:02Z)
• FlowDreamer: Exploring High Fidelity Text-to-3D Generation via Rectified Flow [17.919092916953183]
  本研究では,フロードレーマーという新しいフレームワークを提案し,よりリッチなテキストの詳細とより高速なコンバージェンスで高忠実度な結果を得る。 鍵となる洞察は、修正流れモデルの結合性と可逆性を利用して、対応する雑音を探索することである。 我々は,同じ軌道に沿って3次元モデルを最適化するために,新しい一様マッチング結合(UCM)損失を導入する。
  論文  参考訳（メタデータ） (2024-08-09T11:40:20Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。