論文の概要: SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance
- arxiv url: http://arxiv.org/abs/2404.00992v1
- Date: Mon, 1 Apr 2024 08:37:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 22:56:51.592698
- Title: SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance
- Title(参考訳): SGCNeRF:Sparse Geometric Consistency GuidanceによるFew-Shot Neural Rendering
- Authors: Yuru Xiao, Xianming Liu, Deming Zhai, Kui Jiang, Junjun Jiang, Xiangyang Ji,
- Abstract要約: FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。
新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。
モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
- 参考スコア(独自算出の注目度): 106.0057551634008
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Field (NeRF) technology has made significant strides in creating novel viewpoints. However, its effectiveness is hampered when working with sparsely available views, often leading to performance dips due to overfitting. FreeNeRF attempts to overcome this limitation by integrating implicit geometry regularization, which incrementally improves both geometry and textures. Nonetheless, an initial low positional encoding bandwidth results in the exclusion of high-frequency elements. The quest for a holistic approach that simultaneously addresses overfitting and the preservation of high-frequency details remains ongoing. This study introduces a novel feature matching based sparse geometry regularization module. This module excels in pinpointing high-frequency keypoints, thereby safeguarding the integrity of fine details. Through progressive refinement of geometry and textures across NeRF iterations, we unveil an effective few-shot neural rendering architecture, designated as SGCNeRF, for enhanced novel view synthesis. Our experiments demonstrate that SGCNeRF not only achieves superior geometry-consistent outcomes but also surpasses FreeNeRF, with improvements of 0.7 dB and 0.6 dB in PSNR on the LLFF and DTU datasets, respectively.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)技術は、新しい視点の創出に大きく貢献している。
しかし、その効果は、わずかに利用可能なビューを扱うときに妨げられ、しばしばオーバーフィッティングによるパフォーマンス低下につながる。
FreeNeRFは、幾何学とテクスチャの両方を漸進的に改善する暗黙の幾何正規化を統合することで、この制限を克服しようとする。
それでも、初期低位置符号化帯域は高周波素子を除外する。
過度な適合と高周波の詳細の保存を兼ね備えた包括的アプローチの探求は現在も続いている。
本研究では,特徴マッチングに基づくスパース幾何正規化モジュールを提案する。
このモジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
我々は、NeRF反復による幾何やテクスチャの漸進的な改善を通じて、新規なビュー合成を向上するために、SGCNeRFと命名された効果的な数ショットのニューラルレンダリングアーキテクチャを公表する。
LLFFデータセットとDTUデータセットのPSNRの0.7dBと0.6dBの改善により、SGCNeRFは優れた幾何一貫性を持つ結果を得るだけでなく、FreeNeRFを上回る結果が得られることを示した。
関連論文リスト
- MonoPatchNeRF: Improving Neural Radiance Fields with Patch-based Monocular Guidance [29.267039546199094]
本稿では,正確な幾何学とビュー合成を提供する3次元モデルの構築を目的とする。
単分子表面の正規および相対深度予測を効果的に活用するパッチベースのアプローチを提案する。
ETH3D MVSベンチマークの平均F1@2cmにおいて、RegNeRFの4倍、FreeNeRFの8倍の性能を示す。
論文 参考訳(メタデータ) (2024-04-12T05:43:10Z) - CombiNeRF: A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis [1.374796982212312]
ニューラル・ラジアンス・フィールド(NeRF)は、十分に多くのビューが利用可能である場合に、新しいビュー合成のための印象的な結果を示す。
本稿では,複数の正規化手法を相乗的に組み合わせたCombiNeRFを提案する。
CombiNeRFは、いくつかの公開データセットにおいて、数ショット設定で最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-21T13:59:00Z) - NeRF-VPT: Learning Novel View Representations with Neural Radiance
Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。
提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。
NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文 参考訳(メタデータ) (2024-03-02T22:08:10Z) - PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。
一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
論文 参考訳(メタデータ) (2023-12-17T08:30:00Z) - GARF:Geometry-Aware Generalized Neural Radiance Field [47.76524984421343]
本稿では,GADS(Geometry-Aware Generalized Neural Radiance Field)戦略を用いたGARF(Geometry-Aware Generalized Neural Radiance Field)を提案する。
筆者らのフレームワークは,画素スケールと幾何学スケールの両方において,わずかに入力画像で見えないシーンを推測する。
屋内および屋外のデータセットの実験では、GARFはレンダリング品質と3次元幾何推定を改善しながら、サンプルを25%以上削減している。
論文 参考訳(メタデータ) (2022-12-05T14:00:59Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳(メタデータ) (2022-07-04T02:27:07Z) - Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural
Human Rendering [139.159534903657]
我々は、高忠実度自由視点人体詳細のための一般化可能で効率的なニューラルレーダランス・フィールド(NeRF)パイプラインを開発した。
自己閉塞性を改善するため,幾何誘導型多視点機能統合手法を考案した。
高いレンダリング効率を達成するため,幾何誘導型プログレッシブレンダリングパイプラインを導入する。
論文 参考訳(メタデータ) (2021-12-08T14:42:10Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。