論文の概要: Deceptive-NeRF: Enhancing NeRF Reconstruction using Pseudo-Observations
from Diffusion Models
- arxiv url: http://arxiv.org/abs/2305.15171v1
- Date: Wed, 24 May 2023 14:00:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 15:29:11.801792
- Title: Deceptive-NeRF: Enhancing NeRF Reconstruction using Pseudo-Observations
from Diffusion Models
- Title（参考訳）: 知覚-NeRF:拡散モデルからの擬似観測によるNeRF再構成の促進
- Authors: Xinhang Liu, Shiu-hong Kao, Jiaben Chen, Yu-Wing Tai, Chi-Keung Tang
- Abstract要約: Deceptive-NeRFは、合成擬似観測を用いて再構成されたNeRFモデルの品質を向上させる新しい方法である。
提案手法は, 粗いNeRFモデルを粗い入力から再構成する, 2) 粗いモデルに基づいて擬似観測を生成する,3) 擬似観測を用いて改良して高品質な再構成を行う,という3つの重要なステップを含む。
- 参考スコア（独自算出の注目度）: 55.012788534108424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces Deceptive-NeRF, a new method for enhancing the quality
of reconstructed NeRF models using synthetically generated pseudo-observations,
capable of handling sparse input and removing floater artifacts. Our proposed
method involves three key steps: 1) reconstruct a coarse NeRF model from sparse
inputs; 2) generate pseudo-observations based on the coarse model; 3) refine
the NeRF model using pseudo-observations to produce a high-quality
reconstruction. To generate photo-realistic pseudo-observations that faithfully
preserve the identity of the reconstructed scene while remaining consistent
with the sparse inputs, we develop a rectification latent diffusion model that
generates images conditional on a coarse RGB image and depth map, which are
derived from the coarse NeRF and latent text embedding from input images.
Extensive experiments show that our method is effective and can generate
perceptually high-quality NeRF even with very sparse inputs.
- Abstract（参考訳）: 本稿では,合成擬似観測を用いて再構成されたNeRFモデルの品質を向上させるための新しい手法であるDeceptive-NeRFについて紹介する。
提案手法には3つの重要なステップがある。
1) 粗いNeRFモデルをスパース入力から再構成すること。
2) 粗いモデルに基づいて擬似観測を生成する。
3) 擬似観測を用いてNeRFモデルを改良し, 高品質な再構成を実現する。
粗いrgb画像と、入力画像から埋め込まれた粗いnerfおよび潜在テキストから派生した深度マップに基づいて、粗いrgb画像と条件付き画像を生成できる整流潜在拡散モデルを開発し、再構成されたシーンの同一性を忠実に保存するフォトリアリスティックな擬似観測を生成する。
広汎な実験により,本手法は有効であり,非常に少ない入力でも知覚的に高品質なNeRFを生成できることが判明した。
関連論文リスト
- DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。
提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
論文 参考訳（メタデータ） (2024-11-16T03:52:23Z) - SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。
この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。
そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-03-29T09:20:29Z) - Text-Image Conditioned Diffusion for Consistent Text-to-3D Generation [28.079441901818296]
我々は,粒度の細かい視野の整合性を明示したNeRF(Neural Radiance Fields)のテキスト・ツー・3D手法を提案する。
本手法は,既存のテキスト・ツー・3D法に対して最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-12-19T01:09:49Z) - CAD: Photorealistic 3D Generation via Adversarial Distillation [28.07049413820128]
本稿では,事前学習した拡散モデルを用いた3次元合成のための新しい学習パラダイムを提案する。
提案手法は,1つの画像に条件付された高忠実かつ光リアルな3Dコンテンツの生成を解放し,プロンプトを行う。
論文 参考訳（メタデータ） (2023-12-11T18:59:58Z) - EpiDiff: Enhancing Multi-View Synthesis via Localized Epipolar-Constrained Diffusion [60.30030562932703]
EpiDiffは、局所的なインタラクティブなマルチビュー拡散モデルである。
16枚のマルチビュー画像をわずか12秒で生成する。
品質評価の指標では、以前の手法を上回ります。
論文 参考訳（メタデータ） (2023-12-11T05:20:52Z) - Sparse3D: Distilling Multiview-Consistent Diffusion for Object
Reconstruction from Sparse Views [47.215089338101066]
スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。
提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。
強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
論文 参考訳（メタデータ） (2023-08-27T11:52:00Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳（メタデータ） (2023-04-13T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。