論文の概要: PERF: Panoramic Neural Radiance Field from a Single Panorama
- arxiv url: http://arxiv.org/abs/2310.16831v2
- Date: Sat, 28 Oct 2023 16:50:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 19:10:27.834307
- Title: PERF: Panoramic Neural Radiance Field from a Single Panorama
- Title（参考訳）: PERF: 単一パノラマからのパノラマ性神経放射場
- Authors: Guangcong Wang and Peng Wang and Zhaoxi Chen and Wenping Wang and Chen
Change Loy and Ziwei Liu
- Abstract要約: PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。
本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
- 参考スコア（独自算出の注目度）: 109.31072618058043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Field (NeRF) has achieved substantial progress in novel view
synthesis given multi-view images. Recently, some works have attempted to train
a NeRF from a single image with 3D priors. They mainly focus on a limited field
of view with a few occlusions, which greatly limits their scalability to
real-world 360-degree panoramic scenarios with large-size occlusions. In this
paper, we present PERF, a 360-degree novel view synthesis framework that trains
a panoramic neural radiance field from a single panorama. Notably, PERF allows
3D roaming in a complex scene without expensive and tedious image collection.
To achieve this goal, we propose a novel collaborative RGBD inpainting method
and a progressive inpainting-and-erasing method to lift up a 360-degree 2D
scene to a 3D scene. Specifically, we first predict a panoramic depth map as
initialization given a single panorama and reconstruct visible 3D regions with
volume rendering. Then we introduce a collaborative RGBD inpainting approach
into a NeRF for completing RGB images and depth maps from random views, which
is derived from an RGB Stable Diffusion model and a monocular depth estimator.
Finally, we introduce an inpainting-and-erasing strategy to avoid inconsistent
geometry between a newly-sampled view and reference views. The two components
are integrated into the learning of NeRFs in a unified optimization framework
and achieve promising results. Extensive experiments on Replica and a new
dataset PERF-in-the-wild demonstrate the superiority of our PERF over
state-of-the-art methods. Our PERF can be widely used for real-world
applications, such as panorama-to-3D, text-to-3D, and 3D scene stylization
applications. Project page and code are available at
https://perf-project.github.io/ and https://github.com/perf-project/PeRF.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は,マルチビュー画像を用いた新規なビュー合成において大きな進歩を遂げている。
最近では、NeRFを1枚の画像から3D先行画像で訓練しようとする研究もある。
彼らは主に、少数の閉塞を伴う限られた視野にフォーカスしており、大規模な閉塞を伴う現実世界の360度パノラマシナリオに拡張性を大幅に制限している。
本稿では,パノラマからパノラマ性神経放射場を学習する360度新鮮視合成フレームワークPERFを提案する。
特にPERFは、高価な退屈な画像収集なしで複雑なシーンで3Dローミングができる。
この目的を達成するために,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBD塗装法とプログレッシブ塗工工法を提案する。
具体的には,まず1つのパノラマを初期化としてパノラマ深度マップを推定し,ボリュームレンダリングで可視3D領域を再構成する。
次に,RGB 安定拡散モデルと単眼深度推定器から得られたランダムビューから RGB 画像と深度マップを完結する NeRF に協調的な RGBD 塗装手法を導入する。
最後に,新たにサンプリングされたビューと参照ビューとの間の不整合な幾何学を避けるために,塗装と消去の戦略を導入する。
2つのコンポーネントは、統一最適化フレームワークでNeRFの学習に統合され、有望な結果が得られる。
レプリカに関する広範囲な実験と新しいデータセットperf-in-the-wildは、最先端メソッドよりもperfが優れていることを示している。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
プロジェクトページとコードはhttps://perf-project.github.io/とhttps://github.com/perf-project/perfで入手できる。
関連論文リスト
- Pano2Room: Novel View Synthesis from a Single Indoor Panorama [20.262621556667852]
Pano2Roomは、1枚のパノラマ画像から高品質な3D屋内シーンを自動的に再構築するように設計されている。
鍵となるアイデアは、最初に入力パノラマから予備メッシュを構築し、パノラマRGBDインペイントを使用して反復的にこのメッシュを洗練することである。
精巧なメッシュは3次元ガウス散乱場に変換され、収集された擬似ノベルビューで訓練される。
論文 参考訳（メタデータ） (2024-08-21T08:19:12Z) - DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
テキストから3D 360$circ$のシーン生成パイプラインを提示する。
提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。
当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
論文 参考訳（メタデータ） (2024-04-10T10:46:59Z) - Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-05T19:00:45Z) - Reference-guided Controllable Inpainting of Neural Radiance Fields [26.296017756560467]
我々は、表示に一貫性があり、制御可能な領域に焦点をあてる。
単眼深度推定器を用いて, 塗装された視界を正確な3D位置へバックプロジェクターする。
非参照非排除領域に対しては,形状と外観の両方をガイドする画像インペインターに基づく手法を考案する。
論文 参考訳（メタデータ） (2023-04-19T14:11:21Z) - SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance
Fields [19.740018132105757]
SceneRFは、画像列のみを用いた自己教師付き単眼シーン再構築法である。
推測において、単一の入力画像は、融合した新しい深度ビューを幻覚させ、3Dシーンの再構成を得るのに十分である。
論文 参考訳（メタデータ） (2022-12-05T18:59:57Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - Deep Multi Depth Panoramas for View Synthesis [70.9125433400375]
本稿では,複数のRGBD$alpha$panoramasからなる新しいシーン表現であるMultiple Depth Panorama(MDP)を提案する。
MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
論文 参考訳（メタデータ） (2020-08-04T20:29:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。