論文の概要: RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from
Sparse Inputs
- arxiv url: http://arxiv.org/abs/2112.00724v1
- Date: Wed, 1 Dec 2021 18:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 13:58:58.865358
- Title: RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from
Sparse Inputs
- Title(参考訳): RegNeRF:スパース入力からのビュー合成のための正則化ニューラルラジアンス場
- Authors: Michael Niemeyer, Jonathan T. Barron, Ben Mildenhall, Mehdi S. M.
Sajjadi, Andreas Geiger, Noha Radwan
- Abstract要約: 我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。
我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。
我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
- 参考スコア(独自算出の注目度): 79.00855490550367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) have emerged as a powerful representation for
the task of novel view synthesis due to their simplicity and state-of-the-art
performance. Though NeRF can produce photorealistic renderings of unseen
viewpoints when many input views are available, its performance drops
significantly when this number is reduced. We observe that the majority of
artifacts in sparse input scenarios are caused by errors in the estimated scene
geometry, and by divergent behavior at the start of training. We address this
by regularizing the geometry and appearance of patches rendered from unobserved
viewpoints, and annealing the ray sampling space during training. We
additionally use a normalizing flow model to regularize the color of unobserved
viewpoints. Our model outperforms not only other methods that optimize over a
single scene, but in many cases also conditional models that are extensively
pre-trained on large multi-view datasets.
- Abstract(参考訳): neural radiance fields(nerf)は、その単純さと最先端のパフォーマンスのために、新しいビュー合成のタスクの強力な表現として登場した。
多くの入力ビューが利用可能である場合、NeRFは見当たらない視点のフォトリアリスティックレンダリングを生成することができるが、この数を減らすと、その性能は大幅に低下する。
スパース入力シナリオにおけるアーティファクトの大多数は,推定されたシーン形状の誤差と,トレーニング開始時の振る舞いの相違によるものである。
我々は、観測されていない視点からレンダリングされたパッチの形状と外観を規則化し、トレーニング中にレイサンプリング空間をアニーする。
さらに,監視されていない視点の色を正規化するために正規化フローモデルを用いる。
我々のモデルは、一つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
関連論文リスト
- HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [50.35729913765043]
ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。
本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。
仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15~30%改善する。
論文 参考訳(メタデータ) (2023-12-05T22:04:49Z) - SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with
Simpler Solutions [6.9980855647933655]
NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。
我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。
上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
論文 参考訳(メタデータ) (2023-09-07T18:02:57Z) - ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields [9.67057831710618]
スパース入力ビューにおけるニューラルレイディアンス場(NeRF)のトレーニングは、過度な適合と不正確なシーン深さ推定につながる。
我々は、NeRFを再構成して、与えられた視点から3Dポイントの可視性を直接出力し、可視性制約でトレーニング時間を短縮する。
我々のモデルは、学習した先行データを含む、競合するスパース入力のNeRFモデルよりも優れています。
論文 参考訳(メタデータ) (2023-04-28T18:26:23Z) - DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising
Diffusion Models [5.255302402546892]
デノナイジング拡散モデル(DDM)を用いてシーン形状と色に関する事前学習を行う。
これらのRGBDパッチの対数勾配は、シーンの幾何や色を規則化するのに役立ちます。
最も関連性の高いデータセットであるLLFFの評価は、我々の学習前は、再構成された幾何学の質の向上と、新しいビューの改善を実現していることを示している。
論文 参考訳(メタデータ) (2023-02-23T18:52:28Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - Cascaded and Generalizable Neural Radiance Fields for Fast View
Synthesis [35.035125537722514]
ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。
DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。
CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
論文 参考訳(メタデータ) (2022-08-09T12:23:48Z) - Generalizable Patch-Based Neural Rendering [46.41746536545268]
未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。
本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。
本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-07-21T17:57:04Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。