論文の概要: Re-Nerfing: Enforcing Geometric Constraints on Neural Radiance Fields through Novel Views Synthesis

• arxiv url: http://arxiv.org/abs/2312.02255v1
• Date: Mon, 4 Dec 2023 18:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 18:03:44.905017
• Title: Re-Nerfing: Enforcing Geometric Constraints on Neural Radiance Fields through Novel Views Synthesis
• Title（参考訳）: Re-Nerfing:新しいビュー合成によるニューラルラディアンス場の幾何学的制約の強化
• Authors: Felix Tristram, Stefano Gasperini, Federico Tombari, Nassir Navab, Benjamin Busam
• Abstract要約: Re-Nerfingは、NeRFのビュー合成を利用して制限に対処する、シンプルで一般的なマルチステージアプローチである。 すべてのビューでトレーニングしても、Re-Nerfingは最先端のZip-NeRFに改善をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 91.68255013336055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRFs) have shown remarkable novel view synthesis capabilities even in large-scale, unbounded scenes, albeit requiring hundreds of views or introducing artifacts in sparser settings. Their optimization suffers from shape-radiance ambiguities wherever only a small visual overlap is available. This leads to erroneous scene geometry and artifacts. In this paper, we propose Re-Nerfing, a simple and general multi-stage approach that leverages NeRF's own view synthesis to address these limitations. With Re-Nerfing, we increase the scene's coverage and enhance the geometric consistency of novel views as follows: First, we train a NeRF with the available views. Then, we use the optimized NeRF to synthesize pseudo-views next to the original ones to simulate a stereo or trifocal setup. Finally, we train a second NeRF with both original and pseudo views while enforcing structural, epipolar constraints via the newly synthesized images. Extensive experiments on the mip-NeRF 360 dataset show the effectiveness of Re-Nerfing across denser and sparser input scenarios, bringing improvements to the state-of-the-art Zip-NeRF, even when trained with all views.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(Neural Radiance Fields、NeRF)は、数百のビューを必要とするにもかかわらず、大規模で無境界のシーンでも目覚ましいビュー合成能力を示した。 それらの最適化は、小さな視覚的重なりしか持たない形状のあいまいさに悩まされる。 これは誤ったシーンの幾何学やアーティファクトにつながる。 本稿では,これらの制約に対処するためにNeRFのビュー合成を利用する,シンプルで汎用的なマルチステージアプローチであるRe-Nerfingを提案する。 Re-Nerfingでは、シーンのカバレッジを高め、新しいビューの幾何学的一貫性を高める。 次に、最適化されたnerfを使用して、オリジナルの隣の擬似ビューを合成し、ステレオまたはトリフォカル設定をシミュレートする。 最後に、新たに合成した画像を通して構造的、エピポーラ的な制約を課しながら、オリジナルと擬似の両方の視点で第2のNeRFを訓練する。 mip-NeRF 360データセットの大規模な実験では、より密度の高い入力シナリオとスペーサー入力シナリオをまたいだRe-Nerfingの有効性が示され、すべてのビューでトレーニングされた場合でも、最先端のZip-NeRFが改善された。

関連論文リスト

• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry Scaffolds [60.1382112938132]
  室内における自由ナビゲーションを可能にする新しいニューラル放射場(NeRF)法であるNeRFVSを提案する。 NeRFは、トレーニングビューと大きく異なる新規ビューに苦しむ一方で、入力ビューと同様の新規ビューの画像のレンダリングにおいて、印象的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-04-13T06:40:08Z)
• Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis [12.3338393483795]
  SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。 SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。 2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
  論文  参考訳（メタデータ） (2023-04-11T13:37:17Z)
• ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
  近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。 本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
  論文  参考訳（メタデータ） (2022-09-18T12:09:15Z)
• Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis [35.035125537722514]
  ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。 DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。 CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T12:23:48Z)
• View Synthesis with Sculpted Neural Points [64.40344086212279]
  暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。 本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
  論文  参考訳（メタデータ） (2022-05-12T03:54:35Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。