論文の概要: CombiNeRF: A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis
- arxiv url: http://arxiv.org/abs/2403.14412v1
- Date: Thu, 21 Mar 2024 13:59:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 13:59:14.702868
- Title: CombiNeRF: A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis
- Title(参考訳): CombiNeRF:Few-Shot Neural Radiance Field View Synthesisのための正規化手法の組み合わせ
- Authors: Matteo Bonotto, Luigi Sarrocco, Daniele Evangelista, Marco Imperoli, Alberto Pretto,
- Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)は、十分に多くのビューが利用可能である場合に、新しいビュー合成のための印象的な結果を示す。
本稿では,複数の正規化手法を相乗的に組み合わせたCombiNeRFを提案する。
CombiNeRFは、いくつかの公開データセットにおいて、数ショット設定で最先端の手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 1.374796982212312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRFs) have shown impressive results for novel view synthesis when a sufficiently large amount of views are available. When dealing with few-shot settings, i.e. with a small set of input views, the training could overfit those views, leading to artifacts and geometric and chromatic inconsistencies in the resulting rendering. Regularization is a valid solution that helps NeRF generalization. On the other hand, each of the most recent NeRF regularization techniques aim to mitigate a specific rendering problem. Starting from this observation, in this paper we propose CombiNeRF, a framework that synergically combines several regularization techniques, some of them novel, in order to unify the benefits of each. In particular, we regularize single and neighboring rays distributions and we add a smoothness term to regularize near geometries. After these geometric approaches, we propose to exploit Lipschitz regularization to both NeRF density and color networks and to use encoding masks for input features regularization. We show that CombiNeRF outperforms the state-of-the-art methods with few-shot settings in several publicly available datasets. We also present an ablation study on the LLFF and NeRF-Synthetic datasets that support the choices made. We release with this paper the open-source implementation of our framework.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)は、十分に多くのビューが利用可能である場合に、新しいビュー合成のための印象的な結果を示す。
少数のショット設定、すなわち入力ビューの小さなセットを扱う場合、トレーニングはこれらのビューに過度に適合し、結果のレンダリングにおけるアーティファクトと幾何学的および彩色的不整合をもたらす可能性がある。
正規化は、NeRFの一般化に役立つ有効な解である。
一方、最新のNeRF正則化手法は、それぞれ特定のレンダリング問題を緩和することを目的としている。
そこで本研究では,複数の正規化手法を相乗的に組み合わせたフレームワークであるCombiNeRFを提案する。
特に、単光線と隣接光線の分布を正則化し、近傍の測地線を正則化する滑らかな項を加える。
これらの幾何学的アプローチの後、我々はNeRF密度とカラーネットワークの両方に対するリプシッツ正則化と、入力特徴量正則化のための符号化マスクの利用を提案する。
CombiNeRFは、いくつかの公開データセットにおいて、数ショット設定で最先端の手法よりも優れていることを示す。
また,選択を支援するLLFFおよびNeRF合成データセットについて,アブレーション研究を行った。
本論文では,フレームワークのオープンソース実装について述べる。
関連論文リスト
- SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。
新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。
モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
論文 参考訳(メタデータ) (2024-04-01T08:37:57Z) - ColNeRF: Collaboration for Generalizable Sparse Input Neural Radiance
Field [89.54363625953044]
Collaborative Neural Radiance Fields (ColNeRF) はスパース入力で動作するように設計されている。
ColNeRFはよりリッチでより一般化されたシーン表現をキャプチャできる。
我々のアプローチは、新しい場面に適応するための微調整において優位性を示す。
論文 参考訳(メタデータ) (2023-12-14T16:26:46Z) - Re-Nerfing: Improving Novel Views Synthesis through Novel Views Synthesis [80.3686833921072]
Re-Nerfingは単純で汎用的なマルチステージデータ拡張アプローチである。
利用可能なビューでNeRFをトレーニングした後、最適化されたNeRFを使用して、元のビューに関する擬似ビューを合成します。
また、原画像と疑似ビューの両方が不確実領域を隠蔽する第2のNeRFを訓練する。
論文 参考訳(メタデータ) (2023-12-04T18:56:08Z) - Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。
各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。
これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
論文 参考訳(メタデータ) (2023-03-10T08:22:36Z) - PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields
Based on Few-shot Inputs [3.818285175392197]
神経放射場(NeRF)は複雑なシーンの新しいビューに有望な応用がある。
NeRFは、高品質な画像を生成するために、数百の数字の高密度な入力ビューを必要とする。
少ショット入力の幾何を考慮した十分な量のデータ拡張方式であるNeRFの擬似ビュー拡張を提案する。
論文 参考訳(メタデータ) (2022-11-23T08:01:10Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single
Image [85.43496313628943]
本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。
SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。
NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2022-04-02T19:32:42Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。