論文の概要: Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations

• arxiv url: http://arxiv.org/abs/2207.01164v1
• Date: Mon, 4 Jul 2022 02:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 15:22:16.376392
• Title: Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations
• Title（参考訳）: Aug-NeRF:三重レベル体力増強による強磁場訓練
• Authors: Tianlong Chen, Peihao Wang, Zhiwen Fan, Zhangyang Wang
• Abstract要約: 我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
• 参考スコア（独自算出の注目度）: 111.08941206369508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF) regresses a neural parameterized scene by differentially rendering multi-view images with ground-truth supervision. However, when interpolating novel views, NeRF often yields inconsistent and visually non-smooth geometric results, which we consider as a generalization gap between seen and unseen views. Recent advances in convolutional neural networks have demonstrated the promise of advanced robust data augmentations, either random or learned, in enhancing both in-distribution and out-of-distribution generalization. Inspired by that, we propose Augmented NeRF (Aug-NeRF), which for the first time brings the power of robust data augmentations into regularizing the NeRF training. Particularly, our proposal learns to seamlessly blend worst-case perturbations into three distinct levels of the NeRF pipeline with physical grounds, including (1) the input coordinates, to simulate imprecise camera parameters at image capture; (2) intermediate features, to smoothen the intrinsic feature manifold; and (3) pre-rendering output, to account for the potential degradation factors in the multi-view image supervision. Extensive results demonstrate that Aug-NeRF effectively boosts NeRF performance in both novel view synthesis (up to 1.5dB PSNR gain) and underlying geometry reconstruction. Furthermore, thanks to the implicit smooth prior injected by the triple-level augmentations, Aug-NeRF can even recover scenes from heavily corrupted images, a highly challenging setting untackled before. Our codes are available in https://github.com/VITA-Group/Aug-NeRF.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、複数ビュー画像を接地トラストで差分レンダリングすることで、ニューラルネットワークのパラメータ化シーンを回帰する。 しかし、新規な視点を補間する場合、NeRFはしばしば不整合かつ視覚的に非滑らかな幾何学的結果をもたらす。 畳み込みニューラルネットワークの最近の進歩は、ランダムか学習のいずれかの高度なロバストなデータ拡張が、分布内と分布外の両方の一般化を促進することを実証している。 そこで本研究では,nrfトレーニングの正則化にロバストなデータ拡張のパワーを初めてもたらした拡張nrf(aug-nerf)を提案する。 特に,提案手法は,(1)入力座標,画像キャプチャにおける不正確なカメラパラメータのシミュレート,(2)本質的特徴多様体の円滑化,(3)事前レンダリング出力,(3)多視点画像監視における潜在的な劣化要因を考慮し,最悪の場合の摂動を3つの物理グラウンドにシームレスにブレンドすることを目的としている。 Aug-NeRFは、新しいビュー合成(最大1.5dBPSNRゲイン)と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上することを示した。 さらに、トリプルレベルの拡張によって暗黙のスムーズな事前注入により、Aug-NeRFは、ひどく破損した画像からシーンを復元することもできます。 私たちのコードはhttps://github.com/VITA-Group/Aug-NeRFで公開しています。

関連論文リスト

• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• SSNeRF: Sparse View Semi-supervised Neural Radiance Fields with Augmentation [21.454340647455236]
  SSNeRF(SSNeRF)は、教師の枠組みに基づくスパースビュー半教師付きNeRF法である。 私たちのキーとなるアイデアは、徐々に厳しい視界劣化を伴うNeRFモジュールに挑戦することです。 提案手法では,教師のNeRFは信頼度スコアとともに新規な視点を生成し,学生のNeRFは信頼度の高い擬似ラベルから学習する。
  論文  参考訳（メタデータ） (2024-08-17T09:00:37Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。