論文の概要: Simple-RF: Regularizing Sparse Input Radiance Fields with Simpler Solutions

• arxiv url: http://arxiv.org/abs/2404.19015v2
• Date: Thu, 23 May 2024 08:04:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 05:20:55.772357
• Title: Simple-RF: Regularizing Sparse Input Radiance Fields with Simpler Solutions
• Title（参考訳）: Simple-RF: 単純解を用いたスパース入力放射場正規化
• Authors: Nagabhushan Somraj, Adithyan Karanayil, Sai Harsha Mupparaju, Rajiv Soundararajan,
• Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)は、シーンのフォトリアリスティックなフリービューレンダリングにおいて印象的なパフォーマンスを示す。 TensoRFやZipNeRFといったNeRFの最近の改良は、最適化とレンダリングの高速化のために明示的なモデルを採用している。 放射場によって推定される深度を監督することは、より少ない視点で効果的に学習することに役立つことを示す。
• 参考スコア（独自算出の注目度）: 5.699788926464751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) show impressive performance in photo-realistic free-view rendering of scenes. Recent improvements on the NeRF such as TensoRF and ZipNeRF employ explicit models for faster optimization and rendering, as compared to the NeRF that employs an implicit representation. However, both implicit and explicit radiance fields require dense sampling of images in the given scene. Their performance degrades significantly when only a sparse set of views is available. Researchers find that supervising the depth estimated by a radiance field helps train it effectively with fewer views. The depth supervision is obtained either using classical approaches or neural networks pre-trained on a large dataset. While the former may provide only sparse supervision, the latter may suffer from generalization issues. As opposed to the earlier approaches, we seek to learn the depth supervision by designing augmented models and training them along with the main radiance field. Further, we aim to design a framework of regularizations that can work across different implicit and explicit radiance fields. We observe that certain features of these radiance field models overfit to the observed images in the sparse-input scenario. Our key finding is that reducing the capability of the radiance fields with respect to positional encoding, the number of decomposed tensor components or the size of the hash table, constrains the model to learn simpler solutions, which estimate better depth in certain regions. By designing augmented models based on such reduced capabilities, we obtain better depth supervision for the main radiance field. We achieve state-of-the-art view-synthesis performance with sparse input views on popular datasets containing forward-facing and 360$^\circ$ scenes by employing the above regularizations.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、シーンのフォトリアリスティックなフリービューレンダリングにおいて印象的なパフォーマンスを示す。 近年のTensoRFやZipNeRFのようなNeRFの改良は、暗黙の表現を用いるNeRFと比較して、最適化とレンダリングを高速化するための明示的なモデルを採用している。 しかし、暗黙の放射場と暗示の放射場の両方は、所定のシーンにおける画像の密集サンプリングを必要とする。 スパースビューのみを使用すると、パフォーマンスは大幅に低下する。 放射界で推定される深度を監督することは、より少ない視野で効果的にトレーニングするのに役立ちます。 奥行きの監視は、古典的なアプローチか、大規模なデータセットで事前訓練されたニューラルネットワークを使って得られる。 前者はまばらな監督しか行わないが、後者は一般化の問題に悩まされることがある。 従来のアプローチとは対照的に,我々は拡張モデルを設計し,主放射場とともにそれらを訓練することにより,深度監視を学ぼうとしている。 さらに,様々な暗黙的および明示的な放射場にまたがって機能する正規化の枠組みを設計することを目指す。 これらの放射場モデルの特定の特徴がスパース・インプット・シナリオにおける観測画像に過度に適合していることが観察された。 我々のキーとなる発見は、位置符号化、分解テンソル成分の個数、ハッシュテーブルのサイズに関する放射界の能力の低下が、より単純な解を学習するためにモデルを制約し、特定の領域のより深い深さを推定することである。 このような縮小機能に基づく拡張モデルの設計により、主放射場に対するより優れた深度監視が得られる。 本研究では,前向きと360$^\circ$のシーンを含む一般的なデータセットに対して,これらの正規化を用いて,スパース入力ビューを用いて,最先端のビュー合成性能を実現する。

関連論文リスト

• ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models [60.48305533224092]
  ExtraNeRFはニューラル・ラジアンス・フィールド(NeRF)によって処理される視野を外挿する新しい方法である 主な考え方は、NeRFをシーン固有の細部までモデル化し、拡散モデルを利用して観測データを超えて外挿することです。
  論文  参考訳（メタデータ） (2024-06-10T09:44:06Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
  NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。 我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。 上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
  論文  参考訳（メタデータ） (2023-09-07T18:02:57Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields [9.67057831710618]
  スパース入力ビューにおけるニューラルレイディアンス場(NeRF)のトレーニングは、過度な適合と不正確なシーン深さ推定につながる。 我々は、NeRFを再構成して、与えられた視点から3Dポイントの可視性を直接出力し、可視性制約でトレーニング時間を短縮する。 我々のモデルは、学習した先行データを含む、競合するスパース入力のNeRFモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-04-28T18:26:23Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Efficient Neural Radiance Fields with Learned Depth-Guided Sampling [43.79307270743013]
  本稿では,暗示放射場と暗示深度マップを組み合わせたハイブリッドシーン表現を提案する。 実験の結果,提案手法はDTU, Real Forward- facing および NeRF Synthetic データセット上での最先端性能を示すことがわかった。 また,動的人間パフォーマーの視点自由映像をリアルタイムに合成する方法について述べる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。