論文の概要: Benchmarking Robustness in Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2301.04075v1
- Date: Tue, 10 Jan 2023 17:01:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 17:04:26.539801
- Title: Benchmarking Robustness in Neural Radiance Fields
- Title（参考訳）: ニューラルラジアンス分野におけるロバスト性ベンチマーク
- Authors: Chen Wang, Angtian Wang, Junbo Li, Alan Yuille, Cihang Xie
- Abstract要約: 我々は、異なる種類の汚職が存在する場合の、NeRFに基づく新規ビュー合成アルゴリズムの堅牢性を分析する。
我々は、NeRFベースのモデルは、汚損の有無で著しく劣化しており、画像認識モデルとは異なる汚損に対してより敏感であることを示した。
- 参考スコア（独自算出の注目度）: 22.631924719238963
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Radiance Field (NeRF) has demonstrated excellent quality in novel view
synthesis, thanks to its ability to model 3D object geometries in a concise
formulation. However, current approaches to NeRF-based models rely on clean
images with accurate camera calibration, which can be difficult to obtain in
the real world, where data is often subject to corruption and distortion. In
this work, we provide the first comprehensive analysis of the robustness of
NeRF-based novel view synthesis algorithms in the presence of different types
of corruptions.
We find that NeRF-based models are significantly degraded in the presence of
corruption, and are more sensitive to a different set of corruptions than image
recognition models. Furthermore, we analyze the robustness of the feature
encoder in generalizable methods, which synthesize images using neural features
extracted via convolutional neural networks or transformers, and find that it
only contributes marginally to robustness. Finally, we reveal that standard
data augmentation techniques, which can significantly improve the robustness of
recognition models, do not help the robustness of NeRF-based models. We hope
that our findings will attract more researchers to study the robustness of
NeRF-based approaches and help to improve their performance in the real world.
- Abstract（参考訳）: ニューラルレージアンス場(NeRF)は、簡潔な定式化で3次元オブジェクトのジオメトリーをモデル化できるため、新規なビュー合成において優れた品質を示している。
しかし、現在のNeRFベースのモデルへのアプローチは、正確なカメラキャリブレーションによるクリーンなイメージに依存しており、データの破損や歪みが頻繁に発生する現実世界では入手が困難である。
本研究では,NeRFを用いた新しいビュー合成アルゴリズムの強靭性について,様々な種類の汚職の存在下での包括的解析を行った。
nerfベースのモデルは腐敗の存在下で著しく劣化しており、画像認識モデルとは異なる腐敗に敏感であることがわかった。
さらに,畳み込みニューラルネットワークやトランスフォーマーを用いて抽出したニューラル特徴を用いて画像を合成する一般化可能な手法により,特徴エンコーダのロバスト性を分析し,ロバスト性にわずかに寄与することを発見した。
最後に,認識モデルのロバスト性を大幅に向上させる標準データ拡張技術は,NeRFモデルのロバスト性に寄与しないことを明らかにした。
我々は、NeRFベースのアプローチの堅牢性の研究により多くの研究者を惹きつけ、実世界でのパフォーマンス向上に役立てることを願っている。
関連論文リスト
- Towards Degradation-Robust Reconstruction in Generalizable NeRF [58.33351079982745]
GNeRF(Generalizable Radiance Field)は,シーンごとの最適化を回避する手段として有効であることが証明されている。
GNeRFの強靭性は, ソース画像に現れる様々な種類の劣化に対して限定的に研究されている。
論文 参考訳（メタデータ） (2024-11-18T16:13:47Z) - NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。
我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。
このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
論文 参考訳（メタデータ） (2024-05-23T17:59:57Z) - Shielding the Unseen: Privacy Protection through Poisoning NeRF with
Spatial Deformation [59.302770084115814]
本稿では,Neural Radiance Fields(NeRF)モデルの生成機能に対して,ユーザのプライバシを保護する革新的な手法を提案する。
我々の新しい中毒攻撃法は、人間の目では認識できないが、NeRFが正確に3Dシーンを再構築する能力を損なうのに十分強力である観察ビューの変化を誘発する。
我々は、高品質の画像を含む29の現実世界シーンからなる2つの共通のNeRFベンチマークデータセットに対して、我々のアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2023-10-04T19:35:56Z) - Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。
ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。
本稿では,物理統合復元ネットワーク(PiRN)を提案する。
論文 参考訳（メタデータ） (2023-07-20T05:49:21Z) - From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。
また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。
NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
論文 参考訳（メタデータ） (2023-06-10T09:19:19Z) - A Survey on the Robustness of Computer Vision Models against Common Corruptions [3.6486148851646063]
コンピュータビジョンモデルは、センサーエラーや極端な撮像環境に起因する入力画像の変化に影響を受けやすい。
これらの破損は、現実のシナリオにデプロイする際のモデルの信頼性を著しく損なう可能性がある。
本稿では,コンピュータビジョンモデルの汎用汚職に対する堅牢性を改善する手法について概観する。
論文 参考訳（メタデータ） (2023-05-10T10:19:31Z) - NeRFLiX: High-Quality Neural View Synthesis by Learning a
Degradation-Driven Inter-viewpoint MiXer [44.220611552133036]
我々は、分解駆動の視点間ミキサーを学習し、NeRFLiXを提案する。
また,高度に関連した高品質な訓練画像の融合が可能な視点間集約フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T08:36:30Z) - Standalone Neural ODEs with Sensitivity Analysis [5.565364597145569]
本稿では,完全深部ニューラルネットワークを記述可能な連続深部ニューラルネットワークモデルを提案する。
神経感受性問題の一般的な定式化を行い,NCGトレーニングでどのように使用されるかを示す。
我々の新しい定式化がResNetモデルと比較してロバスト性や性能の向上につながることを示す。
論文 参考訳（メタデータ） (2022-05-27T12:16:53Z) - Benchmarking the Robustness of Spatial-Temporal Models Against
Corruptions [32.821121530785504]
我々は、画像の空間的腐敗を超えた時間的腐敗を考慮した、汚職堅牢性ベンチマーク、Mini Kinetics-CとMini SSV2-Cを確立する。
我々は、確立されたCNNベースおよびトランスフォーマーベースの時空間時間モデルにおける破壊堅牢性に関する徹底的な研究を行うための最初の試みを行う。
論文 参考訳（メタデータ） (2021-10-13T05:59:39Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。