論文の概要: Re-Nerfing: Enforcing Geometric Constraints on Neural Radiance Fields
through Novel Views Synthesis
- arxiv url: http://arxiv.org/abs/2312.02255v1
- Date: Mon, 4 Dec 2023 18:56:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 18:03:44.905017
- Title: Re-Nerfing: Enforcing Geometric Constraints on Neural Radiance Fields
through Novel Views Synthesis
- Title(参考訳): Re-Nerfing:新しいビュー合成によるニューラルラディアンス場の幾何学的制約の強化
- Authors: Felix Tristram, Stefano Gasperini, Federico Tombari, Nassir Navab,
Benjamin Busam
- Abstract要約: Re-Nerfingは、NeRFのビュー合成を利用して制限に対処する、シンプルで一般的なマルチステージアプローチである。
すべてのビューでトレーニングしても、Re-Nerfingは最先端のZip-NeRFに改善をもたらすことを示す。
- 参考スコア(独自算出の注目度): 91.68255013336055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRFs) have shown remarkable novel view synthesis
capabilities even in large-scale, unbounded scenes, albeit requiring hundreds
of views or introducing artifacts in sparser settings. Their optimization
suffers from shape-radiance ambiguities wherever only a small visual overlap is
available. This leads to erroneous scene geometry and artifacts. In this paper,
we propose Re-Nerfing, a simple and general multi-stage approach that leverages
NeRF's own view synthesis to address these limitations. With Re-Nerfing, we
increase the scene's coverage and enhance the geometric consistency of novel
views as follows: First, we train a NeRF with the available views. Then, we use
the optimized NeRF to synthesize pseudo-views next to the original ones to
simulate a stereo or trifocal setup. Finally, we train a second NeRF with both
original and pseudo views while enforcing structural, epipolar constraints via
the newly synthesized images. Extensive experiments on the mip-NeRF 360 dataset
show the effectiveness of Re-Nerfing across denser and sparser input scenarios,
bringing improvements to the state-of-the-art Zip-NeRF, even when trained with
all views.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(Neural Radiance Fields、NeRF)は、数百のビューを必要とするにもかかわらず、大規模で無境界のシーンでも目覚ましいビュー合成能力を示した。
それらの最適化は、小さな視覚的重なりしか持たない形状のあいまいさに悩まされる。
これは誤ったシーンの幾何学やアーティファクトにつながる。
本稿では,これらの制約に対処するためにNeRFのビュー合成を利用する,シンプルで汎用的なマルチステージアプローチであるRe-Nerfingを提案する。
Re-Nerfingでは、シーンのカバレッジを高め、新しいビューの幾何学的一貫性を高める。
次に、最適化されたnerfを使用して、オリジナルの隣の擬似ビューを合成し、ステレオまたはトリフォカル設定をシミュレートする。
最後に、新たに合成した画像を通して構造的、エピポーラ的な制約を課しながら、オリジナルと擬似の両方の視点で第2のNeRFを訓練する。
mip-NeRF 360データセットの大規模な実験では、より密度の高い入力シナリオとスペーサー入力シナリオをまたいだRe-Nerfingの有効性が示され、すべてのビューでトレーニングされた場合でも、最先端のZip-NeRFが改善された。
関連論文リスト
- NeRF synthesis with shading guidance [16.115903198836698]
我々は,NeRFパッチの構造的内容を利用したNeRF合成という新しいタスクを提案する。
我々は,複雑な照明シーンであっても,一貫した形状と外観で高品質な結果が得られることを示した。
論文 参考訳(メタデータ) (2023-06-20T14:18:20Z) - Improving Neural Radiance Fields with Depth-aware Optimization for Novel
View Synthesis [12.3338393483795]
SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。
SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。
2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
論文 参考訳(メタデータ) (2023-04-11T13:37:17Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳(メタデータ) (2022-07-04T02:27:07Z) - SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single
Image [85.43496313628943]
本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。
SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。
NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2022-04-02T19:32:42Z) - R2L: Distilling Neural Radiance Field to Neural Light Field for
Efficient Novel View Synthesis [76.07010495581535]
一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。
NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。
ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
論文 参考訳(メタデータ) (2022-03-31T17:57:05Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳(メタデータ) (2021-04-13T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。