論文の概要: Few-shot NeRF by Adaptive Rendering Loss Regularization

• arxiv url: http://arxiv.org/abs/2410.17839v1
• Date: Wed, 23 Oct 2024 13:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:55:43.977560
• Title: Few-shot NeRF by Adaptive Rendering Loss Regularization
• Title（参考訳）: アダプティブレンダリング・ロス正規化による数発のNeRF
• Authors: Qingshan Xu, Xuanyu Yi, Jianyao Xu, Wenbing Tao, Yew-Soon Ong, Hanwang Zhang,
• Abstract要約: スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
• 参考スコア（独自算出の注目度）: 78.50710219013301
• License:
• Abstract: Novel view synthesis with sparse inputs poses great challenges to Neural Radiance Field (NeRF). Recent works demonstrate that the frequency regularization of Positional Encoding (PE) can achieve promising results for few-shot NeRF. In this work, we reveal that there exists an inconsistency between the frequency regularization of PE and rendering loss. This prevents few-shot NeRF from synthesizing higher-quality novel views. To mitigate this inconsistency, we propose Adaptive Rendering loss regularization for few-shot NeRF, dubbed AR-NeRF. Specifically, we present a two-phase rendering supervision and an adaptive rendering loss weight learning strategy to align the frequency relationship between PE and 2D-pixel supervision. In this way, AR-NeRF can learn global structures better in the early training phase and adaptively learn local details throughout the training process. Extensive experiments show that our AR-NeRF achieves state-of-the-art performance on different datasets, including object-level and complex scenes.
• Abstract（参考訳）: スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす。 近年の研究では、位置符号化(PE)の周波数規則化により、数発のNeRFに対して有望な結果が得られることが示されている。 本研究では,PEの周波数正規化とレンダリング損失との間には矛盾があることを明らかにする。 これにより、数発のNeRFが高品質な新規ビューを合成するのを防ぐ。 この不整合を軽減するために,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。 具体的には,PEと2Dピクセルの周波数関係を一致させるために,2段階のレンダリング監視と適応的なレンダリング損失重み学習戦略を提案する。 これにより、AR-NeRFは早期トレーニングフェーズにおいてグローバルな構造をよりよく学習し、トレーニングプロセス全体を通して局所的な詳細を適応的に学習することができる。 大規模な実験により、我々のAR-NeRFは、オブジェクトレベルや複雑なシーンを含む、さまざまなデータセット上で最先端のパフォーマンスを達成することが示された。

関連論文リスト

• FreqINR: Frequency Consistency for Implicit Neural Representation with Adaptive DCT Frequency Loss [5.349799154834945]
  本稿では、新しい任意スケール超解像法であるFreqINR(FreqINR)について述べる。 トレーニングでは,適応離散コサイン変換周波数損失(adaptive Discrete Cosine Transform Frequency Loss,ADFL)を用いて,HR画像と地絡画像の周波数ギャップを最小化する。 推論の際には,低分解能(LR)画像と地軸画像のスペクトルコヒーレンスを維持するために受容場を拡張した。
  論文  参考訳（メタデータ） (2024-08-25T03:53:17Z)
• SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
  FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。 新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。 モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
  論文  参考訳（メタデータ） (2024-04-01T08:37:57Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• FlipNeRF: Flipped Reflection Rays for Few-shot Novel View Synthesis [30.25904672829623]
  FlipNeRFは,提案したフレキシブルリフレクション線を利用して,数発の新規ビュー合成のための新しい正規化手法である。 FlipNeRFは、異なるシーン構造全体にわたって効果的に浮かぶアーティファクトを削減し、より信頼性の高いアウトプットを見積もることができる。
  論文  参考訳（メタデータ） (2023-06-30T15:11:00Z)
• From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
  我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。 また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。 NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
  論文  参考訳（メタデータ） (2023-06-10T09:19:19Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization [32.1581416980828]
  本稿では、従来の手法よりも優れた驚くほど単純なベースラインである周波数正規化NeRF(FreeNeRF)を提案する。 我々は、数ショットのニューラルレンダリングにおける重要な課題を分析し、NeRFのトレーニングにおいて周波数が重要な役割を果たすことを発見した。
  論文  参考訳（メタデータ） (2023-03-13T18:59:03Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。