論文の概要: WaveNeRF: Wavelet-based Generalizable Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2308.04826v1
• Date: Wed, 9 Aug 2023 09:24:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 14:23:49.617152
• Title: WaveNeRF: Wavelet-based Generalizable Neural Radiance Fields
• Title（参考訳）: WaveNeRF:ウェーブレットに基づく一般化可能なニューラルラジアンス場
• Authors: Muyu Xu, Fangneng Zhan, Jiahui Zhang, Yingchen Yu, Xiaoqin Zhang, Christian Theobalt, Ling Shao and Shijian Lu
• Abstract要約: 我々は、ウェーブレット周波数分解をMVSとNeRFに統合したWaveNeRFを設計する。 WaveNeRFは、3つの画像のみを入力として与えたときに、より優れた一般化可能な放射場モデリングを実現する。
• 参考スコア（独自算出の注目度）: 145.84809472794115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Field (NeRF) has shown impressive performance in novel view synthesis via implicit scene representation. However, it usually suffers from poor scalability as requiring densely sampled images for each new scene. Several studies have attempted to mitigate this problem by integrating Multi-View Stereo (MVS) technique into NeRF while they still entail a cumbersome fine-tuning process for new scenes. Notably, the rendering quality will drop severely without this fine-tuning process and the errors mainly appear around the high-frequency features. In the light of this observation, we design WaveNeRF, which integrates wavelet frequency decomposition into MVS and NeRF to achieve generalizable yet high-quality synthesis without any per-scene optimization. To preserve high-frequency information when generating 3D feature volumes, WaveNeRF builds Multi-View Stereo in the Wavelet domain by integrating the discrete wavelet transform into the classical cascade MVS, which disentangles high-frequency information explicitly. With that, disentangled frequency features can be injected into classic NeRF via a novel hybrid neural renderer to yield faithful high-frequency details, and an intuitive frequency-guided sampling strategy can be designed to suppress artifacts around high-frequency regions. Extensive experiments over three widely studied benchmarks show that WaveNeRF achieves superior generalizable radiance field modeling when only given three images as input.
• Abstract（参考訳）: neural radiance field (nerf) は暗黙的なシーン表現による新しいビュー合成において印象的な性能を示している。 しかし、通常、新しいシーンごとに密度の高いサンプル画像を必要とするため、スケーラビリティの低下に悩まされる。 いくつかの研究は、マルチビューステレオ(mvs)技術をnerfに統合することでこの問題を軽減することを試みているが、新しいシーンの微調整プロセスは複雑である。 特に、この微調整プロセスなしでレンダリング品質が著しく低下し、エラーは主に高周波の特徴を中心に現れる。 この観測結果から,ウェーブレット周波数分解をMVSとNeRFに統合したWaveNeRFを設計し,シーンごとの最適化を行うことなく,一般化可能ながら高品質な合成を実現する。 3D特徴量を生成する際に高周波情報を保存するために、WaveNeRFは、離散ウェーブレット変換を古典カスケードMVSに統合し、ウェーブレット領域にマルチビューステレオを構築する。 これにより、新しいハイブリッド・ニューラル・レンダラーを介して古典的NeRFに絡み合った周波数特徴を注入して忠実な高周波の詳細を得ることができ、高周波領域周辺のアーティファクトを抑えるために直感的な周波数誘導サンプリング戦略を設計することができる。 広範に研究された3つのベンチマーク実験により、WaveNeRFは3つの画像のみを入力として与えた場合に、より優れた一般化可能な放射場モデリングを実現することが示された。

関連論文リスト

• FreGS: 3D Gaussian Splatting with Progressive Frequency Regularization [67.47895278233717]
  周波数空間における過度再構成問題に対処するために, 進行周波数正規化手法を開発した。 FreGSは優れた斬新なビュー合成を実現し、最先端の技術を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-03-11T17:00:27Z)
• Frequency-Adaptive Pan-Sharpening with Mixture of Experts [22.28680499480492]
  パンシャーピングのための新しい周波数適応型エキスパート混合学習フレームワーク(FAME)を提案する。 本手法は他の最先端技術に対して最善を尽くし,現実のシーンに対して強力な一般化能力を有する。
  論文  参考訳（メタデータ） (2024-01-04T08:58:25Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• NeuSample: Neural Sample Field for Efficient View Synthesis [129.10351459066501]
  本稿では,ニューラルサンプル場を命名する軽量モジュールを提案する。 提案したサンプルフィールドは、線をサンプル分布にマッピングし、点座標に変換し、ボリュームレンダリングのために放射場に供給することができる。 我々はNeuSampleが高速な推論速度を保ちながら、NeRFよりも優れたレンダリング品質を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-30T16:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。