論文の概要: Deceptive-NeRF: Enhancing NeRF Reconstruction using Pseudo-Observations
from Diffusion Models
- arxiv url: http://arxiv.org/abs/2305.15171v1
- Date: Wed, 24 May 2023 14:00:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 15:29:11.801792
- Title: Deceptive-NeRF: Enhancing NeRF Reconstruction using Pseudo-Observations
from Diffusion Models
- Title(参考訳): 知覚-NeRF:拡散モデルからの擬似観測によるNeRF再構成の促進
- Authors: Xinhang Liu, Shiu-hong Kao, Jiaben Chen, Yu-Wing Tai, Chi-Keung Tang
- Abstract要約: Deceptive-NeRFは、合成擬似観測を用いて再構成されたNeRFモデルの品質を向上させる新しい方法である。
提案手法は, 粗いNeRFモデルを粗い入力から再構成する, 2) 粗いモデルに基づいて擬似観測を生成する,3) 擬似観測を用いて改良して高品質な再構成を行う,という3つの重要なステップを含む。
- 参考スコア(独自算出の注目度): 55.012788534108424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces Deceptive-NeRF, a new method for enhancing the quality
of reconstructed NeRF models using synthetically generated pseudo-observations,
capable of handling sparse input and removing floater artifacts. Our proposed
method involves three key steps: 1) reconstruct a coarse NeRF model from sparse
inputs; 2) generate pseudo-observations based on the coarse model; 3) refine
the NeRF model using pseudo-observations to produce a high-quality
reconstruction. To generate photo-realistic pseudo-observations that faithfully
preserve the identity of the reconstructed scene while remaining consistent
with the sparse inputs, we develop a rectification latent diffusion model that
generates images conditional on a coarse RGB image and depth map, which are
derived from the coarse NeRF and latent text embedding from input images.
Extensive experiments show that our method is effective and can generate
perceptually high-quality NeRF even with very sparse inputs.
- Abstract(参考訳): 本稿では,合成擬似観測を用いて再構成されたNeRFモデルの品質を向上させるための新しい手法であるDeceptive-NeRFについて紹介する。
提案手法には3つの重要なステップがある。
1) 粗いNeRFモデルをスパース入力から再構成すること。
2) 粗いモデルに基づいて擬似観測を生成する。
3) 擬似観測を用いてNeRFモデルを改良し, 高品質な再構成を実現する。
粗いrgb画像と、入力画像から埋め込まれた粗いnerfおよび潜在テキストから派生した深度マップに基づいて、粗いrgb画像と条件付き画像を生成できる整流潜在拡散モデルを開発し、再構成されたシーンの同一性を忠実に保存するフォトリアリスティックな擬似観測を生成する。
広汎な実験により,本手法は有効であり,非常に少ない入力でも知覚的に高品質なNeRFを生成できることが判明した。
関連論文リスト
- NeRF-VPT: Learning Novel View Representations with Neural Radiance
Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。
提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。
NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文 参考訳(メタデータ) (2024-03-02T22:08:10Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳(メタデータ) (2023-04-13T17:59:01Z) - NeRF applied to satellite imagery for surface reconstruction [5.027411102165872]
本稿では、最近導入されたシャドウニューラルレージアンスフィールド(S-NeRF)モデルの修正実装であるSurf-NeRFを提案する。
本手法は、画像中の光の変動を考慮しつつ、シーンの衛星画像の粗い集合から新規なビューを合成することができる。
トレーニングされたモデルは、しばしば衛星観測用途に望ましい量であるシーンの表面の標高を正確に推定するためにも使用できる。
論文 参考訳(メタデータ) (2023-04-09T01:37:13Z) - Clean-NeRF: Reformulating NeRF to account for View-Dependent
Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。
clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文 参考訳(メタデータ) (2023-03-26T12:24:31Z) - Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。
各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。
これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
論文 参考訳(メタデータ) (2023-03-10T08:22:36Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳(メタデータ) (2022-07-04T02:27:07Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳(メタデータ) (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。