論文の概要: How to Use Diffusion Priors under Sparse Views?

• arxiv url: http://arxiv.org/abs/2412.02225v1
• Date: Tue, 03 Dec 2024 07:31:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:34.093208
• Title: How to Use Diffusion Priors under Sparse Views?
• Title（参考訳）: 疎視下で拡散前駆体をどう使うか?
• Authors: Qisen Wang, Yifan Zhao, Jiawei Ma, Jia Li,
• Abstract要約: Inline Prior Guided Score Matching is proposed to provide visual supervision over sparse view in 3D reconstruction。 提案手法は,最先端の復元品質を実現する。
• 参考スコア（独自算出の注目度）: 29.738350228085928
• License:
• Abstract: Novel view synthesis under sparse views has been a long-term important challenge in 3D reconstruction. Existing works mainly rely on introducing external semantic or depth priors to supervise the optimization of 3D representations. However, the diffusion model, as an external prior that can directly provide visual supervision, has always underperformed in sparse-view 3D reconstruction using Score Distillation Sampling (SDS) due to the low information entropy of sparse views compared to text, leading to optimization challenges caused by mode deviation. To this end, we present a thorough analysis of SDS from the mode-seeking perspective and propose Inline Prior Guided Score Matching (IPSM), which leverages visual inline priors provided by pose relationships between viewpoints to rectify the rendered image distribution and decomposes the original optimization objective of SDS, thereby offering effective diffusion visual guidance without any fine-tuning or pre-training. Furthermore, we propose the IPSM-Gaussian pipeline, which adopts 3D Gaussian Splatting as the backbone and supplements depth and geometry consistency regularization based on IPSM to further improve inline priors and rectified distribution. Experimental results on different public datasets show that our method achieves state-of-the-art reconstruction quality. The code is released at https://github.com/iCVTEAM/IPSM.
• Abstract（参考訳）: スパースビュー下での新しいビュー合成は、3次元再構成において長期にわたる重要な課題である。 既存の研究は主に3D表現の最適化を監督するために、外部の意味や深度を事前に導入することに依存している。 しかし, 拡散モデルは, 直接視覚的監督を提供する外部の先行として, テキストに比べてスパースビューの低情報エントロピーのため, スコア蒸留サンプリング (SDS) を用いたスパースビュー3次元再構成において常に性能が劣っているため, モード偏差による最適化が課題となっている。 この目的のために,モード探索の観点からSDSを徹底的に分析し,視点間の関係を反映してレンダリングされた画像分布を補正し,SDSの本来の最適化目標を分解し,微調整や事前学習を行わずに効果的な拡散視覚誘導を提供する,インライン優先スコアマッチング(IPSM)を提案する。 さらに,3次元ガウススティングをバックボーンとして採用したIPSM-ガウスパイプラインを提案する。 各種公開データセットに対する実験結果から,本手法が最先端の復元品質を実現することを示す。 コードはhttps://github.com/iCVTEAM/IPSMで公開されている。

関連論文リスト

• ConsistentDreamer: View-Consistent Meshes Through Balanced Multi-View Gaussian Optimization [5.55656676725821]
  我々はConsistentDreamerを紹介し、まず、固定された複数ビュー前の画像とそれらの間のランダムなビューの集合を生成する。 これにより、SDSの損失によって導かれるビュー間の相違を抑え、一貫した粗い形状を確保する。 各イテレーションでは、生成した複数ビュー前の画像も詳細再構築に使用しています。
  論文  参考訳（メタデータ） (2025-02-13T12:49:25Z)
• See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization [14.239772421978373]
  3次元ガウス散乱(3DGS)は、新規なビュー合成において顕著な性能を示した。 しかし、そのレンダリング品質は、粗いインフットビューによって劣化し、歪んだコンテンツと細部が減少する。 本稿では,事前情報を取り入れたスパースビュー3DGS法を提案する。 LLFFデータセット上でPSNRを最大0.4dB改善し、最先端の新規ビュー合成手法より優れる。
  論文  参考訳（メタデータ） (2025-01-20T14:30:38Z)
• ViPOcc: Leveraging Visual Priors from Vision Foundation Models for Single-View 3D Occupancy Prediction [11.312780421161204]
  本稿では,視覚基盤モデルからの視覚的先行情報を活用して,詳細な3D占有率予測を行うViPOccを提案する。 また,効率的な実例認識光サンプリングのための意味誘導型非重複ガウス混合サンプリング器を提案する。 本実験は,3次元占有予測と深度推定の両方において,ViPOccの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-15T15:04:27Z)
• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors [34.91966359570867]
  スパースビューの再構築は本質的に不適切であり、制約を受けていない。 本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。 提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-05T12:09:02Z)
• Sparse3D: Distilling Multiview-Consistent Diffusion for Object Reconstruction from Sparse Views [47.215089338101066]
  スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。 提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。 強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
  論文  参考訳（メタデータ） (2023-08-27T11:52:00Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
  画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。 われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
  論文  参考訳（メタデータ） (2022-05-12T17:55:51Z)
• NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
  本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。 提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-02T17:54:31Z)
• Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
  本稿では,3次元形状対応のための教師なし学習手法を提案する。 提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-28T22:24:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。