論文の概要: PERF: Panoramic Neural Radiance Field from a Single Panorama
- arxiv url: http://arxiv.org/abs/2310.16831v2
- Date: Sat, 28 Oct 2023 16:50:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 19:10:27.834307
- Title: PERF: Panoramic Neural Radiance Field from a Single Panorama
- Title(参考訳): PERF: 単一パノラマからのパノラマ性神経放射場
- Authors: Guangcong Wang and Peng Wang and Zhaoxi Chen and Wenping Wang and Chen
Change Loy and Ziwei Liu
- Abstract要約: PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。
本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
- 参考スコア(独自算出の注目度): 109.31072618058043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Field (NeRF) has achieved substantial progress in novel view
synthesis given multi-view images. Recently, some works have attempted to train
a NeRF from a single image with 3D priors. They mainly focus on a limited field
of view with a few occlusions, which greatly limits their scalability to
real-world 360-degree panoramic scenarios with large-size occlusions. In this
paper, we present PERF, a 360-degree novel view synthesis framework that trains
a panoramic neural radiance field from a single panorama. Notably, PERF allows
3D roaming in a complex scene without expensive and tedious image collection.
To achieve this goal, we propose a novel collaborative RGBD inpainting method
and a progressive inpainting-and-erasing method to lift up a 360-degree 2D
scene to a 3D scene. Specifically, we first predict a panoramic depth map as
initialization given a single panorama and reconstruct visible 3D regions with
volume rendering. Then we introduce a collaborative RGBD inpainting approach
into a NeRF for completing RGB images and depth maps from random views, which
is derived from an RGB Stable Diffusion model and a monocular depth estimator.
Finally, we introduce an inpainting-and-erasing strategy to avoid inconsistent
geometry between a newly-sampled view and reference views. The two components
are integrated into the learning of NeRFs in a unified optimization framework
and achieve promising results. Extensive experiments on Replica and a new
dataset PERF-in-the-wild demonstrate the superiority of our PERF over
state-of-the-art methods. Our PERF can be widely used for real-world
applications, such as panorama-to-3D, text-to-3D, and 3D scene stylization
applications. Project page and code are available at
https://perf-project.github.io/ and https://github.com/perf-project/PeRF.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)は,マルチビュー画像を用いた新規なビュー合成において大きな進歩を遂げている。
最近では、NeRFを1枚の画像から3D先行画像で訓練しようとする研究もある。
彼らは主に、少数の閉塞を伴う限られた視野にフォーカスしており、大規模な閉塞を伴う現実世界の360度パノラマシナリオに拡張性を大幅に制限している。
本稿では,パノラマからパノラマ性神経放射場を学習する360度新鮮視合成フレームワークPERFを提案する。
特にPERFは、高価な退屈な画像収集なしで複雑なシーンで3Dローミングができる。
この目的を達成するために,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBD塗装法とプログレッシブ塗工工法を提案する。
具体的には,まず1つのパノラマを初期化としてパノラマ深度マップを推定し,ボリュームレンダリングで可視3D領域を再構成する。
次に,RGB 安定拡散モデルと単眼深度推定器から得られたランダムビューから RGB 画像と深度マップを完結する NeRF に協調的な RGBD 塗装手法を導入する。
最後に,新たにサンプリングされたビューと参照ビューとの間の不整合な幾何学を避けるために,塗装と消去の戦略を導入する。
2つのコンポーネントは、統一最適化フレームワークでNeRFの学習に統合され、有望な結果が得られる。
レプリカに関する広範囲な実験と新しいデータセットperf-in-the-wildは、最先端メソッドよりもperfが優れていることを示している。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
プロジェクトページとコードはhttps://perf-project.github.io/とhttps://github.com/perf-project/perfで入手できる。
関連論文リスト
- Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-05T19:00:45Z) - Reference-guided Controllable Inpainting of Neural Radiance Fields [26.296017756560467]
我々は、表示に一貫性があり、制御可能な領域に焦点をあてる。
単眼深度推定器を用いて, 塗装された視界を正確な3D位置へバックプロジェクターする。
非参照非排除領域に対しては,形状と外観の両方をガイドする画像インペインターに基づく手法を考案する。
論文 参考訳(メタデータ) (2023-04-19T14:11:21Z) - SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance
Fields [19.740018132105757]
SceneRFは、画像列のみを用いた自己教師付き単眼シーン再構築法である。
推測において、単一の入力画像は、融合した新しい深度ビューを幻覚させ、3Dシーンの再構成を得るのに十分である。
論文 参考訳(メタデータ) (2022-12-05T18:59:57Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural
Radiance Fields [26.296017756560467]
3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。
本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。
我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
論文 参考訳(メタデータ) (2022-11-22T13:14:50Z) - CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。
画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。
フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
論文 参考訳(メタデータ) (2022-07-23T09:03:13Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。
本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。
いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-12-03T18:59:54Z) - Deep Multi Depth Panoramas for View Synthesis [70.9125433400375]
本稿では,複数のRGBD$alpha$panoramasからなる新しいシーン表現であるMultiple Depth Panorama(MDP)を提案する。
MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
論文 参考訳(メタデータ) (2020-08-04T20:29:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。