論文の概要: FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization

• arxiv url: http://arxiv.org/abs/2303.07418v1
• Date: Mon, 13 Mar 2023 18:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 17:39:07.896852
• Title: FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization
• Title（参考訳）: FreeNeRF:自由周波数規則化によるファウショットニューラルレンダリングの改善
• Authors: Jiawei Yang, Marco Pavone, Yue Wang
• Abstract要約: 本稿では、従来の手法よりも優れた驚くほど単純なベースラインである周波数正規化NeRF(FreeNeRF)を提案する。 我々は、数ショットのニューラルレンダリングにおける重要な課題を分析し、NeRFのトレーニングにおいて周波数が重要な役割を果たすことを発見した。
• 参考スコア（独自算出の注目度）: 32.1581416980828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Novel view synthesis with sparse inputs is a challenging problem for neural radiance fields (NeRF). Recent efforts alleviate this challenge by introducing external supervision, such as pre-trained models and extra depth signals, and by non-trivial patch-based rendering. In this paper, we present Frequency regularized NeRF (FreeNeRF), a surprisingly simple baseline that outperforms previous methods with minimal modifications to the plain NeRF. We analyze the key challenges in few-shot neural rendering and find that frequency plays an important role in NeRF's training. Based on the analysis, we propose two regularization terms. One is to regularize the frequency range of NeRF's inputs, while the other is to penalize the near-camera density fields. Both techniques are ``free lunches'' at no additional computational cost. We demonstrate that even with one line of code change, the original NeRF can achieve similar performance as other complicated methods in the few-shot setting. FreeNeRF achieves state-of-the-art performance across diverse datasets, including Blender, DTU, and LLFF. We hope this simple baseline will motivate a rethinking of the fundamental role of frequency in NeRF's training under the low-data regime and beyond.
• Abstract（参考訳）: スパース入力を用いた新しいビュー合成はニューラル放射場(NeRF)にとって難しい問題である。 近年の取り組みは、事前訓練されたモデルや追加の深度信号、非自明なパッチベースのレンダリングといった外部監視を導入することで、この問題を軽減する。 本稿では,周波数正規化NeRF(FreeNeRF)について述べる。 ニューラルレンダリングにおける重要課題を分析し,nrfのトレーニングにおいて周波数が重要な役割を担っていることを確認した。 この分析に基づき,2つの正規化項を提案する。 1つは、NeRFの入力の周波数範囲を規則化し、もう1つは、近カメラ密度場をペナライズすることである。 どちらの技法も計算コストなしで ``free lunches''' である。 1行のコード変更であっても、オリジナルのNeRFは、数ショット設定で他の複雑なメソッドと同様のパフォーマンスを達成できることを示す。 FreeNeRFは、Blender、DTU、LLFFなど、さまざまなデータセットにわたる最先端のパフォーマンスを実現する。 我々は、この単純なベースラインが、低データ体制以降におけるNeRFのトレーニングにおける周波数の基本的な役割を再考する動機になることを期待している。

関連論文リスト

• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• InsertNeRF: Instilling Generalizability into NeRF with HyperNet Modules [23.340064406356174]
  ニューラル・ラジアンス・フィールド(NeRF)を新しいシーンに一般化することは大きな課題である。 InsertNeRF, INStilling gEneRalizabiliTy into NeRF。
  論文  参考訳（メタデータ） (2023-08-26T14:50:24Z)
• Efficient View Synthesis with Neural Radiance Distribution Field [61.22920276806721]
  我々は,リアルタイムに効率的なビュー合成を目標とするニューラルレージアンス分布場(NeRDF)という新しい表現を提案する。 我々は、NeLFのように1ピクセル当たりの1つのネットワーク転送でレンダリング速度を保ちながら、NeRFに似た小さなネットワークを使用する。 実験の結果,提案手法は既存の手法よりも速度,品質,ネットワークサイズとのトレードオフが良好であることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T02:23:28Z)
• DReg-NeRF: Deep Registration for Neural Radiance Fields [66.69049158826677]
  我々は,人間の介入なしにオブジェクト中心のアノテートシーンにおけるNeRF登録問題を解くためにDReg-NeRFを提案する。 提案手法は,SOTAポイントクラウド登録方式を大きなマージンで打ち負かす。
  論文  参考訳（メタデータ） (2023-08-18T08:37:49Z)
• Learning a Diffusion Prior for NeRFs [84.99454404653339]
  正規化グリッド上に符号化されたNeRFを生成するために拡散モデルを提案する。 提案モデルでは,現実的なNeRFのサンプル化が可能である一方で,条件付き世代を許容すると同時に,特定の観察をガイダンスとして与えることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T19:24:21Z)
• Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
  入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。 各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。 これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
  論文  参考訳（メタデータ） (2023-03-10T08:22:36Z)
• Compressing Explicit Voxel Grid Representations: fast NeRFs become also small [3.1473798197405944]
  Re:NeRFは、同等の性能を維持しながら、NeRFモデルのメモリストレージを削減することを目的としている。 3つのEVG-NeRFアーキテクチャを4つの人気のあるベンチマークでベンチマークする。
  論文  参考訳（メタデータ） (2022-10-23T16:42:29Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。