論文の概要: Non-uniform Sampling Strategies for NeRF on 360{\textdegree} images

• arxiv url: http://arxiv.org/abs/2212.03635v1
• Date: Wed, 7 Dec 2022 13:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 17:01:53.022711
• Title: Non-uniform Sampling Strategies for NeRF on 360{\textdegree} images
• Title（参考訳）: 360{\textdegree}画像上のNeRFの非均一サンプリング戦略
• Authors: Takashi Otonari, Satoshi Ikehata, Kiyoharu Aizawa
• Abstract要約: 本研究では,360度全方位画像に対して,NeRFを効果的に構築する2つの新しい手法を提案する。 我々は、360度画像に適合するNeRFのための2つの非一様線サンプリング手法を提案する。 提案手法は,360度画像における実世界のシーンの質を向上させる。
• 参考スコア（独自算出の注目度）: 40.02598009484401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the performance of novel view synthesis using perspective images has dramatically improved with the advent of neural radiance fields (NeRF). This study proposes two novel techniques that effectively build NeRF for 360{\textdegree} omnidirectional images. Due to the characteristics of a 360{\textdegree} image of ERP format that has spatial distortion in their high latitude regions and a 360{\textdegree} wide viewing angle, NeRF's general ray sampling strategy is ineffective. Hence, the view synthesis accuracy of NeRF is limited and learning is not efficient. We propose two non-uniform ray sampling schemes for NeRF to suit 360{\textdegree} images - distortion-aware ray sampling and content-aware ray sampling. We created an evaluation dataset Synth360 using Replica and SceneCity models of indoor and outdoor scenes, respectively. In experiments, we show that our proposal successfully builds 360{\textdegree} image NeRF in terms of both accuracy and efficiency. The proposal is widely applicable to advanced variants of NeRF. DietNeRF, AugNeRF, and NeRF++ combined with the proposed techniques further improve the performance. Moreover, we show that our proposed method enhances the quality of real-world scenes in 360{\textdegree} images. Synth360: https://drive.google.com/drive/folders/1suL9B7DO2no21ggiIHkH3JF3OecasQLb.
• Abstract（参考訳）: 近年,ニューラルレイディアンス場(NeRF)の出現に伴い,視点画像を用いた新しいビュー合成の性能が劇的に向上している。 本研究では,360{\textdegree}全方位画像に対して,NeRFを効果的に構築する2つの新しい手法を提案する。 高緯度領域に空間的歪みを有するerpフォーマットの360{\textdegree}画像の特徴と360{\textdegree}ワイドビューアングルのため、nerfの一般的な光線サンプリング戦略は効果がない。 したがって、NeRFのビュー合成精度は制限され、学習は効率的ではない。 そこで本研究では,nrfが360{\textdegree}画像に適合する2つの非一様レイサンプリング方式を提案する。 室内シーンと屋外シーンのReplicaモデルとSceneCityモデルを用いて,Synth360の評価データセットを作成した。 実験の結果,提案手法は精度と効率の両面から360{\textdegree} 画像 NeRF の構築に成功した。 この提案は、NeRFの高度な変種に適用可能である。 DietNeRF、AugNeRF、NeRF++と提案手法を組み合わせることで、さらなる性能向上を実現した。 さらに,提案手法が実世界のシーンの品質を360{\textdegree}画像で向上させることを示す。 Synth360: https://drive.google.com/drive/folders/1suL9B7DO2no21ggiIHkH3JF3OecasQLb

関連論文リスト

• ZeroRF: Fast Sparse View 360{\deg} Reconstruction with Zero Pretraining [28.03297623406931]
  Neural Radiance Fields (NeRF)のような現在のブレークスルーは、高忠実度画像合成を実証しているが、スパース入力ビューに苦慮している。 我々はZeroRFを提案し、その鍵となるアイデアは、カスタマイズされたDeep Image Priorを係数化されたNeRF表現に統合することである。 従来の方法とは異なり、ZeroRFはニューラルネットワークジェネレータでフィーチャーグリッドをパラメトリズし、効率的なスパースビュー360deg再構成を可能にする。
  論文  参考訳（メタデータ） (2023-12-14T18:59:32Z)
• Re-Nerfing: Improving Novel Views Synthesis through Novel Views Synthesis [80.3686833921072]
  Re-Nerfingは単純で汎用的なマルチステージデータ拡張アプローチである。 利用可能なビューでNeRFをトレーニングした後、最適化されたNeRFを使用して、元のビューに関する擬似ビューを合成します。 また、原画像と疑似ビューの両方が不確実領域を隠蔽する第2のNeRFを訓練する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
  屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。 NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。 我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-08-24T17:59:50Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• Enhancement of Novel View Synthesis Using Omnidirectional Image Completion [61.78187618370681]
  ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
  論文  参考訳（メタデータ） (2022-03-18T13:49:25Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。