論文の概要: Benchmarking Robustness in Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2301.04075v1
- Date: Tue, 10 Jan 2023 17:01:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 17:04:26.539801
- Title: Benchmarking Robustness in Neural Radiance Fields
- Title(参考訳): ニューラルラジアンス分野におけるロバスト性ベンチマーク
- Authors: Chen Wang, Angtian Wang, Junbo Li, Alan Yuille, Cihang Xie
- Abstract要約: 我々は、異なる種類の汚職が存在する場合の、NeRFに基づく新規ビュー合成アルゴリズムの堅牢性を分析する。
我々は、NeRFベースのモデルは、汚損の有無で著しく劣化しており、画像認識モデルとは異なる汚損に対してより敏感であることを示した。
- 参考スコア(独自算出の注目度): 22.631924719238963
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Radiance Field (NeRF) has demonstrated excellent quality in novel view
synthesis, thanks to its ability to model 3D object geometries in a concise
formulation. However, current approaches to NeRF-based models rely on clean
images with accurate camera calibration, which can be difficult to obtain in
the real world, where data is often subject to corruption and distortion. In
this work, we provide the first comprehensive analysis of the robustness of
NeRF-based novel view synthesis algorithms in the presence of different types
of corruptions.
We find that NeRF-based models are significantly degraded in the presence of
corruption, and are more sensitive to a different set of corruptions than image
recognition models. Furthermore, we analyze the robustness of the feature
encoder in generalizable methods, which synthesize images using neural features
extracted via convolutional neural networks or transformers, and find that it
only contributes marginally to robustness. Finally, we reveal that standard
data augmentation techniques, which can significantly improve the robustness of
recognition models, do not help the robustness of NeRF-based models. We hope
that our findings will attract more researchers to study the robustness of
NeRF-based approaches and help to improve their performance in the real world.
- Abstract(参考訳): ニューラルレージアンス場(NeRF)は、簡潔な定式化で3次元オブジェクトのジオメトリーをモデル化できるため、新規なビュー合成において優れた品質を示している。
しかし、現在のNeRFベースのモデルへのアプローチは、正確なカメラキャリブレーションによるクリーンなイメージに依存しており、データの破損や歪みが頻繁に発生する現実世界では入手が困難である。
本研究では,NeRFを用いた新しいビュー合成アルゴリズムの強靭性について,様々な種類の汚職の存在下での包括的解析を行った。
nerfベースのモデルは腐敗の存在下で著しく劣化しており、画像認識モデルとは異なる腐敗に敏感であることがわかった。
さらに,畳み込みニューラルネットワークやトランスフォーマーを用いて抽出したニューラル特徴を用いて画像を合成する一般化可能な手法により,特徴エンコーダのロバスト性を分析し,ロバスト性にわずかに寄与することを発見した。
最後に,認識モデルのロバスト性を大幅に向上させる標準データ拡張技術は,NeRFモデルのロバスト性に寄与しないことを明らかにした。
我々は、NeRFベースのアプローチの堅牢性の研究により多くの研究者を惹きつけ、実世界でのパフォーマンス向上に役立てることを願っている。
関連論文リスト
- Shielding the Unseen: Privacy Protection through Poisoning NeRF with
Spatial Deformation [59.302770084115814]
本稿では,Neural Radiance Fields(NeRF)モデルの生成機能に対して,ユーザのプライバシを保護する革新的な手法を提案する。
我々の新しい中毒攻撃法は、人間の目では認識できないが、NeRFが正確に3Dシーンを再構築する能力を損なうのに十分強力である観察ビューの変化を誘発する。
我々は、高品質の画像を含む29の現実世界シーンからなる2つの共通のNeRFベンチマークデータセットに対して、我々のアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2023-10-04T19:35:56Z) - Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。
ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。
本稿では,物理統合復元ネットワーク(PiRN)を提案する。
論文 参考訳(メタデータ) (2023-07-20T05:49:21Z) - From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。
また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。
NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
論文 参考訳(メタデータ) (2023-06-10T09:19:19Z) - NeRFLiX: High-Quality Neural View Synthesis by Learning a
Degradation-Driven Inter-viewpoint MiXer [44.220611552133036]
我々は、分解駆動の視点間ミキサーを学習し、NeRFLiXを提案する。
また,高度に関連した高品質な訓練画像の融合が可能な視点間集約フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-13T08:36:30Z) - Standalone Neural ODEs with Sensitivity Analysis [5.565364597145569]
本稿では,完全深部ニューラルネットワークを記述可能な連続深部ニューラルネットワークモデルを提案する。
神経感受性問題の一般的な定式化を行い,NCGトレーニングでどのように使用されるかを示す。
我々の新しい定式化がResNetモデルと比較してロバスト性や性能の向上につながることを示す。
論文 参考訳(メタデータ) (2022-05-27T12:16:53Z) - Benchmarking the Robustness of Spatial-Temporal Models Against
Corruptions [32.821121530785504]
我々は、画像の空間的腐敗を超えた時間的腐敗を考慮した、汚職堅牢性ベンチマーク、Mini Kinetics-CとMini SSV2-Cを確立する。
我々は、確立されたCNNベースおよびトランスフォーマーベースの時空間時間モデルにおける破壊堅牢性に関する徹底的な研究を行うための最初の試みを行う。
論文 参考訳(メタデータ) (2021-10-13T05:59:39Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - Improving robustness against common corruptions with frequency biased
models [112.65717928060195]
目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします
画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。
畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
論文 参考訳(メタデータ) (2021-03-30T10:44:50Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳(メタデータ) (2021-02-23T20:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。