論文の概要: Deceptive-NeRF: Enhancing NeRF Reconstruction using Pseudo-Observations
from Diffusion Models
- arxiv url: http://arxiv.org/abs/2305.15171v3
- Date: Mon, 16 Oct 2023 15:47:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 04:58:44.582915
- Title: Deceptive-NeRF: Enhancing NeRF Reconstruction using Pseudo-Observations
from Diffusion Models
- Title(参考訳): 知覚-NeRF:拡散モデルからの擬似観測によるNeRF再構成の促進
- Authors: Xinhang Liu, Jiaben Chen, Shiu-hong Kao, Yu-Wing Tai, Chi-Keung Tang
- Abstract要約: 数発のNeRF再構成のための新しい手法であるDeceptive-NeRFを紹介する。
我々は,RGB画像と深度マップを粗いNeRFからフォトリアリスティックな擬似観測へ順応的に遷移させる,知覚拡散モデルを開発した。
本稿では,現在のNeRFレンダリングを用いて,次のイテレーションのNeRFを高める擬似観測を生成することによって,認知-NeRFを学習するためのプログレッシブ戦略を提案する。
- 参考スコア(独自算出の注目度): 64.93632281251386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Deceptive-NeRF, a novel methodology for few-shot NeRF
reconstruction, which leverages diffusion models to synthesize plausible
pseudo-observations to improve the reconstruction. This approach unfolds
through three key steps: 1) reconstructing a coarse NeRF from sparse input
data; 2) utilizing the coarse NeRF to render images and subsequently generating
pseudo-observations based on them; 3) training a refined NeRF model utilizing
input images augmented with pseudo-observations. We develop a deceptive
diffusion model that adeptly transitions RGB images and depth maps from coarse
NeRFs into photo-realistic pseudo-observations, all while preserving scene
semantics for reconstruction. Furthermore, we propose a progressive strategy
for training the Deceptive-NeRF, using the current NeRF renderings to create
pseudo-observations that enhance the next iteration's NeRF. Extensive
experiments demonstrate that our approach is capable of synthesizing
photo-realistic novel views, even for highly complex scenes with very sparse
inputs. Codes will be released.
- Abstract(参考訳): そこで本研究では, 拡散モデルを用いて疑似観測を合成し, 再構成を改善するための新しい手法であるdeceptive-nerfを提案する。
このアプローチは3つの重要なステップを通じて展開される。
1) 粗いNeRFをスパース入力データから再構成すること。
2) 粗いNeRFを用いて画像を描画し,その後,それらに基づいて擬似観測を生成する。
3)疑似観測を付加した入力画像を用いた改良nyrfモデルのトレーニング。
我々は,RGB画像と深度マップを粗いNeRFから光写実的な擬似観測へと順応的に変換し,シーンのセマンティクスを保ちながら,認識拡散モデルを構築した。
さらに、現在のNeRFレンダリングを用いて、次のイテレーションのNeRFを強化する擬似観測を生成することによって、Deceptive-NeRFを訓練するためのプログレッシブ戦略を提案する。
広範な実験により,非常に少ない入力を持つ複雑なシーンでも,フォトリアリスティックなノベルビューを合成できることが実証された。
コードはリリースされる。
関連論文リスト
- NeRF-VPT: Learning Novel View Representations with Neural Radiance
Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。
提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。
NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文 参考訳(メタデータ) (2024-03-02T22:08:10Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳(メタデータ) (2023-04-13T17:59:01Z) - NeRF applied to satellite imagery for surface reconstruction [5.027411102165872]
本稿では、最近導入されたシャドウニューラルレージアンスフィールド(S-NeRF)モデルの修正実装であるSurf-NeRFを提案する。
本手法は、画像中の光の変動を考慮しつつ、シーンの衛星画像の粗い集合から新規なビューを合成することができる。
トレーニングされたモデルは、しばしば衛星観測用途に望ましい量であるシーンの表面の標高を正確に推定するためにも使用できる。
論文 参考訳(メタデータ) (2023-04-09T01:37:13Z) - Clean-NeRF: Reformulating NeRF to account for View-Dependent
Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。
clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文 参考訳(メタデータ) (2023-03-26T12:24:31Z) - Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。
各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。
これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
論文 参考訳(メタデータ) (2023-03-10T08:22:36Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳(メタデータ) (2022-07-04T02:27:07Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳(メタデータ) (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。