論文の概要: Harnessing Low-Frequency Neural Fields for Few-Shot View Synthesis

• arxiv url: http://arxiv.org/abs/2303.08370v1
• Date: Wed, 15 Mar 2023 05:15:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:47:01.372319
• Title: Harnessing Low-Frequency Neural Fields for Few-Shot View Synthesis
• Title（参考訳）: 低周波ニューラルフィールドを用いた少数映像合成
• Authors: Liangchen Song, Zhong Li, Xuan Gong, Lele Chen, Zhang Chen, Yi Xu, Junsong Yuan
• Abstract要約: オーバフィッティングから高周波数のニューラルフィールドを規則化するために、低周波ニューラルフィールドを利用する。 数発の入力に過度に適合しないよう、周波数を調整するための簡単なyet- Effective戦略を提案する。
• 参考スコア（独自算出の注目度）: 82.31272171857623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) have led to breakthroughs in the novel view synthesis problem. Positional Encoding (P.E.) is a critical factor that brings the impressive performance of NeRF, where low-dimensional coordinates are mapped to high-dimensional space to better recover scene details. However, blindly increasing the frequency of P.E. leads to overfitting when the reconstruction problem is highly underconstrained, \eg, few-shot images for training. We harness low-frequency neural fields to regularize high-frequency neural fields from overfitting to better address the problem of few-shot view synthesis. We propose reconstructing with a low-frequency only field and then finishing details with a high-frequency equipped field. Unlike most existing solutions that regularize the output space (\ie, rendered images), our regularization is conducted in the input space (\ie, signal frequency). We further propose a simple-yet-effective strategy for tuning the frequency to avoid overfitting few-shot inputs: enforcing consistency among the frequency domain of rendered 2D images. Thanks to the input space regularizing scheme, our method readily applies to inputs beyond spatial locations, such as the time dimension in dynamic scenes. Comparisons with state-of-the-art on both synthetic and natural datasets validate the effectiveness of our proposed solution for few-shot view synthesis. Code is available at \href{https://github.com/lsongx/halo}{https://github.com/lsongx/halo}.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成問題においてブレークスルーをもたらした。 位置エンコーディング(P.E.)は、低次元座標を高次元空間にマッピングしてシーンの詳細を再現する、NeRFの印象的な性能をもたらす重要な要素である。 しかし、P.E.の頻度が盲目的に増加すると、再建問題が過小評価されているときに過度に適合する。 我々は、低周波のニューラルフィールドを利用して、高周波のニューラルフィールドを過剰フィッティングから正則化し、少数ショットのビュー合成の問題を解決する。 本稿では,低周波のみのフィールドで再構成し,高周波のフィールドで詳細を仕上げることを提案する。 出力空間を正則化する既存のソリューション (\ie, render image) とは異なり、我々の正則化は入力空間 (\ie, signal frequency) で実行される。 さらに,2次元画像の周波数領域間の一貫性を強要する,数点入力の過剰化を回避するために,周波数をチューニングする簡便な手法を提案する。 入力空間正規化スキームにより,動的シーンの時間次元などの空間的位置を超えた入力に容易に適用できる。 合成データと自然データの両方における最新技術との比較により,提案手法の有効性が検証された。 コードは \href{https://github.com/lsongx/halo}{https://github.com/lsongx/halo} で入手できる。

関連論文リスト

• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• Frequency-regularized Neural Representation Method for Sparse-view Tomographic Reconstruction [8.45338755060592]
  自己教師付きスパース・ビュー・トモグラフィ再構成のための正規化ニューラル減衰/活性場(Freq-NAF)を提案する。 Freq-NAFは、ニューラルネットワーク入力の可視周波数帯域を直接制御して、周波数正規化による過度な適合を緩和する。
  論文  参考訳（メタデータ） (2024-09-22T11:19:38Z)
• Informative Rays Selection for Few-Shot Neural Radiance Fields [0.3599866690398789]
  KeyNeRFは、重要な情報線に着目して、数ショットのシナリオでNeRFを訓練するための、シンプルで効果的な方法である。 提案手法は,既存のNeRFの最小限の変更を必要としながら,最先端の手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2023-12-29T11:08:19Z)
• Neural Fourier Filter Bank [18.52741992605852]
  本稿では, 効率的かつ高精度な再構築手法を提案する。 ウェーブレットにインスパイアされた我々は、信号が空間的にも周波数的にも分解されるニューラルネットワークを学習する。
  論文  参考訳（メタデータ） (2022-12-04T03:45:08Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Focal Frequency Loss for Image Reconstruction and Synthesis [125.7135706352493]
  周波数領域の狭さが画像再構成と合成品質をさらに改善できることを示す。 本稿では,合成が難しい周波数成分に適応的に焦点を合わせることのできる,新しい焦点周波数損失を提案する。
  論文  参考訳（メタデータ） (2020-12-23T17:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。