論文の概要: Complete Gaussian Splats from a Single Image with Denoising Diffusion Models
- arxiv url: http://arxiv.org/abs/2508.21542v1
- Date: Fri, 29 Aug 2025 11:55:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-01 19:45:11.026803
- Title: Complete Gaussian Splats from a Single Image with Denoising Diffusion Models
- Title(参考訳): 拡散モデルを用いた単一画像からの完全ガウススプラッター
- Authors: Ziwei Liao, Mohamed Sayed, Steven L. Waslander, Sara Vicente, Daniyar Turmukhambetov, Michael Firman,
- Abstract要約: 本稿では,1枚の画像のみからガウススプラッターを用いて完全な3次元シーンを再構成する潜時拡散モデルを提案する。
提案手法は,高画質な360度レンダリングのための閉塞面を完遂する機能を備えた忠実な再構成と多種多様なサンプルを生成する。
- 参考スコア(独自算出の注目度): 24.95877981068105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian splatting typically requires dense observations of the scene and can fail to reconstruct occluded and unobserved areas. We propose a latent diffusion model to reconstruct a complete 3D scene with Gaussian splats, including the occluded parts, from only a single image during inference. Completing the unobserved surfaces of a scene is challenging due to the ambiguity of the plausible surfaces. Conventional methods use a regression-based formulation to predict a single "mode" for occluded and out-of-frustum surfaces, leading to blurriness, implausibility, and failure to capture multiple possible explanations. Thus, they often address this problem partially, focusing either on objects isolated from the background, reconstructing only visible surfaces, or failing to extrapolate far from the input views. In contrast, we propose a generative formulation to learn a distribution of 3D representations of Gaussian splats conditioned on a single input image. To address the lack of ground-truth training data, we propose a Variational AutoReconstructor to learn a latent space only from 2D images in a self-supervised manner, over which a diffusion model is trained. Our method generates faithful reconstructions and diverse samples with the ability to complete the occluded surfaces for high-quality 360-degree renderings.
- Abstract(参考訳): ガウスのスプレイティングは通常、シーンの密集した観察を必要とし、閉鎖された、あるいは保存されていない領域の再構築に失敗する。
本稿では,1枚の画像のみから,隠れた部分を含むガウススプラットを用いて,完全な3次元シーンを再構成する潜時拡散モデルを提案する。
可視面のあいまいさのため、シーンの未観測面を補完することは困難である。
従来の手法では、回帰に基づく定式化を用いて、外乱面と外乱面の1つの「モード」を予測し、曖昧さ、不明瞭さ、そして複数の可能な説明を捉えるのに失敗する。
したがって、彼らはしばしばこの問題に部分的に対処し、背景から分離されたオブジェクトに焦点を合わせ、目に見える表面だけを再構築するか、あるいは入力ビューから遠ざかることができないかに焦点を合わせている。
対照的に,1つの入力画像に条件付きガウススプレートの3次元表現の分布を学習するための生成式を提案する。
本研究では,2次元画像のみを自己教師付きで学習し,拡散モデルを学習する変分オートコンストラクタを提案する。
提案手法は,高画質な360度レンダリングのための閉塞面を完遂する機能を備えた忠実な再構成と多種多様なサンプルを生成する。
関連論文リスト
- DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。
実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
論文 参考訳(メタデータ) (2024-12-11T07:32:17Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳(メタデータ) (2024-10-31T17:58:22Z) - OFER: Occluded Face Expression Reconstruction [16.06622406877353]
OFERはシングルイメージの3次元顔再構成のための新しいアプローチであり、可塑性、多様性、表現力のある3次元顔を生成することができる。
多様な表現間の整合性を維持するため,予測された形状精度スコアに基づいて,形状拡散ネットワークの出力をソートする新しいランキング機構を提案する。
論文 参考訳(メタデータ) (2024-10-29T00:21:26Z) - GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。
本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。
実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
論文 参考訳(メタデータ) (2024-03-15T12:24:36Z) - NeuSD: Surface Completion with Multi-View Text-to-Image Diffusion [56.98287481620215]
本稿では,対象物の一部のみを捉えた複数の画像から3次元表面再構成を行う手法を提案する。
提案手法は, 表面の可視部分の再構成に神経放射場を用いた表面再構成法と, SDS (Score Distillation Sampling) 方式で事前学習した2次元拡散モデルを用いて, 可観測領域の形状を再現する手法である。
論文 参考訳(メタデータ) (2023-12-07T19:30:55Z) - Diffusion with Forward Models: Solving Stochastic Inverse Problems
Without Direct Supervision [76.32860119056964]
本稿では,直接観測されない信号の分布からサンプルを学習する拡散確率モデルを提案する。
コンピュータビジョンの課題3つの課題に対して,本手法の有効性を示す。
論文 参考訳(メタデータ) (2023-06-20T17:53:00Z) - DiffRF: Rendering-Guided 3D Radiance Field Diffusion [18.20324411024166]
本稿では,拡散確率モデルに基づく3次元放射場合成の新しい手法であるDiffRFを紹介する。
2次元拡散モデルとは対照的に、我々のモデルは多視点一貫した先行情報を学習し、自由視点合成と正確な形状生成を可能にする。
論文 参考訳(メタデータ) (2022-12-02T14:37:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。