論文の概要: Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2312.02255v3
- Date: Wed, 28 Aug 2024 12:43:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 21:19:05.241702
- Title: Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis
- Title(参考訳): Re-Nerfing:新しいビュー合成による新しいビュー合成の改善
- Authors: Felix Tristram, Stefano Gasperini, Nassir Navab, Federico Tombari,
- Abstract要約: 最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。
画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。
本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
- 参考スコア(独自算出の注目度): 80.3686833921072
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent neural rendering and reconstruction techniques, such as NeRFs or Gaussian Splatting, have shown remarkable novel view synthesis capabilities but require hundreds of images of the scene from diverse viewpoints to render high-quality novel views. With fewer images available, these methods start to fail since they can no longer correctly triangulate the underlying 3D geometry and converge to a non-optimal solution. These failures can manifest as floaters or blurry renderings in sparsely observed areas of the scene. In this paper, we propose Re-Nerfing, a simple and general add-on approach that leverages novel view synthesis itself to tackle this problem. Using an already trained NVS method, we render novel views between existing ones and augment the training data to optimize a second model. This introduces additional multi-view constraints and allows the second model to converge to a better solution. With Re-Nerfing we achieve significant improvements upon multiple pipelines based on NeRF and Gaussian-Splatting in sparse view settings of the mip-NeRF 360 and LLFF datasets. Notably, Re-Nerfing does not require prior knowledge or extra supervision signals, making it a flexible and practical add-on.
- Abstract(参考訳): 近年のNeRFやガウス・スプラッティングのようなニューラルレンダリングや再構成技術は目覚ましいビュー合成能力を示しているが、高品質なビューを描画するためには多様な視点から数百のシーンの画像が必要である。
画像が少ないと、これらの手法は、基礎となる3次元幾何学を正しく三角測量できず、最適でない解に収束できなくなるため、失敗し始める。
これらの失敗は、シーンのわずかに観察された領域で、フローターやぼやけたレンダリングとして現れる。
本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
すでにトレーニング済みのNVSメソッドを使用して、既存のビュー間で新しいビューを描画し、トレーニングデータを拡張して第2モデルの最適化を行う。
これにより、追加のマルチビュー制約が導入され、第二モデルはより良いソリューションに収束する。
Re-Nerfingでは、mip-NeRF 360とLLFFデータセットのスパースビュー設定において、NeRFとGaussian-Splattingに基づく複数のパイプラインで大幅な改善を実現しています。
特に、Re-Nerfingは事前の知識や余分な監視信号を必要としないため、柔軟で実用的なアドオンである。
関連論文リスト
- NeRF-VPT: Learning Novel View Representations with Neural Radiance
Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。
提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。
NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文 参考訳(メタデータ) (2024-03-02T22:08:10Z) - ZeroRF: Fast Sparse View 360{\deg} Reconstruction with Zero Pretraining [28.03297623406931]
Neural Radiance Fields (NeRF)のような現在のブレークスルーは、高忠実度画像合成を実証しているが、スパース入力ビューに苦慮している。
我々はZeroRFを提案し、その鍵となるアイデアは、カスタマイズされたDeep Image Priorを係数化されたNeRF表現に統合することである。
従来の方法とは異なり、ZeroRFはニューラルネットワークジェネレータでフィーチャーグリッドをパラメトリズし、効率的なスパースビュー360deg再構成を可能にする。
論文 参考訳(メタデータ) (2023-12-14T18:59:32Z) - SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with
Simpler Solutions [6.9980855647933655]
NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。
我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。
上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
論文 参考訳(メタデータ) (2023-09-07T18:02:57Z) - Improving Neural Radiance Fields with Depth-aware Optimization for Novel
View Synthesis [12.3338393483795]
SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。
SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。
2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
論文 参考訳(メタデータ) (2023-04-11T13:37:17Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳(メタデータ) (2022-07-04T02:27:07Z) - SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single
Image [85.43496313628943]
本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。
SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。
NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2022-04-02T19:32:42Z) - R2L: Distilling Neural Radiance Field to Neural Light Field for
Efficient Novel View Synthesis [76.07010495581535]
一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。
NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。
ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
論文 参考訳(メタデータ) (2022-03-31T17:57:05Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。