論文の概要: Dynamic Batch Norm Statistics Update for Natural Robustness

• arxiv url: http://arxiv.org/abs/2310.20649v1
• Date: Tue, 31 Oct 2023 17:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 14:06:40.192998
• Title: Dynamic Batch Norm Statistics Update for Natural Robustness
• Title（参考訳）: Dynamic Batch Norm Statistics Update for Natural Robustness (英語)
• Authors: Shahbaz Rezaei, Mohammad Sadegh Norouzzadeh
• Abstract要約: 本稿では,汚職検出モデルとBN統計更新からなる統合フレームワークを提案する。 CIFAR10-CとImageNet-Cの精度は8%, 4%向上した。
• 参考スコア（独自算出の注目度）: 5.366500153474747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: DNNs trained on natural clean samples have been shown to perform poorly on corrupted samples, such as noisy or blurry images. Various data augmentation methods have been recently proposed to improve DNN's robustness against common corruptions. Despite their success, they require computationally expensive training and cannot be applied to off-the-shelf trained models. Recently, it has been shown that updating BatchNorm (BN) statistics of an off-the-shelf model on a single corruption improves its accuracy on that corruption significantly. However, adopting the idea at inference time when the type of corruption is unknown and changing decreases the effectiveness of this method. In this paper, we harness the Fourier domain to detect the corruption type, a challenging task in the image domain. We propose a unified framework consisting of a corruption-detection model and BN statistics update that improves the corruption accuracy of any off-the-shelf trained model. We benchmark our framework on different models and datasets. Our results demonstrate about 8% and 4% accuracy improvement on CIFAR10-C and ImageNet-C, respectively. Furthermore, our framework can further improve the accuracy of state-of-the-art robust models, such as AugMix and DeepAug.
• Abstract（参考訳）: 自然のクリーンなサンプルで訓練されたdnnは、ノイズやぼやけた画像など、腐敗したサンプルでは性能が悪いことが示されている。 共通の腐敗に対するdnnの堅牢性を改善するために、様々なデータ拡張手法が最近提案されている。 その成功にもかかわらず、計算コストの高いトレーニングが必要であり、市販のトレーニングモデルには適用できない。 近年,BatchNorm (BN) 統計の更新により,単一腐敗における既成モデルの精度が著しく向上することが示されている。 しかし、腐敗のタイプが不明な場合に推論時にその考えを採用すると、この方法の有効性が低下する。 本稿では,画像領域における課題である汚職タイプを検出するために,フーリエ領域を利用する。 そこで本研究では,市販のトレーニングモデルの汚損精度を向上させるための,汚損検出モデルとBN統計更新からなる統一フレームワークを提案する。 さまざまなモデルとデータセットでフレームワークをベンチマークします。 その結果,CIFAR10-CとImageNet-Cでは約8%,精度は4%向上した。 さらに,本フレームワークは,augmixやdeepaugといった最先端のロバストモデルの精度をさらに向上させることができる。

関連論文リスト

• Improving Out-of-Distribution Data Handling and Corruption Resistance via Modern Hopfield Networks [0.0]
  本研究は,コンピュータビジョンモデルによるアウト・オブ・ディストリビューションデータ処理能力の向上における,Modern Hopfield Networks (MHN) の可能性を探るものである。 我々は,MHNをベースラインモデルに統合し,ロバスト性を高めることを提案する。 本研究は,MNIST-Cデータセットのモデル性能を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2024-08-21T03:26:16Z)
• Frequency-Based Vulnerability Analysis of Deep Learning Models against Image Corruptions [48.34142457385199]
  MUFIAは、モデルが失敗する可能性のある特定の種類の汚職を特定するために設計されたアルゴリズムである。 最先端のモデルでさえ、既知の一般的な汚職に対して堅牢であるように訓練されたモデルでさえ、MUFIAによって作られた低視認性ベースの汚職と戦っている。
  論文  参考訳（メタデータ） (2023-06-12T15:19:13Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Soft Diffusion: Score Matching for General Corruptions [84.26037497404195]
  我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。 本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。 提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-12T17:45:03Z)
• Benchmarks for Corruption Invariant Person Re-identification [31.919264399996475]
  本研究では,マーケット-1501,CUHK03,MSMT17,RegDB,SYSU-MM01など,単品間および多品間データセットにおける汚い不変性学習について検討した。 トランスフォーマーベースのモデルは、CNNベースのモデルと比較して、破損したイメージに対してより堅牢である。 クロスデータセットの一般化は、腐敗の堅牢性を高めることで改善される。
  論文  参考訳（メタデータ） (2021-11-01T12:14:28Z)
• Improving robustness against common corruptions with frequency biased models [112.65717928060195]
  目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします 画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。 畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-30T10:44:50Z)
• On Interaction Between Augmentations and Corruptions in Natural Corruption Robustness [78.6626755563546]
  ImageNet-Cのパフォーマンスを大幅に改善するいくつかの新しいデータ拡張が提案されている。 我々は,類似度と性能の間に強い相関があることを示すために,最小サンプル距離(minimal sample distance)と呼ばれる拡張と腐敗の間の新たな尺度を開発した。 テストタイムの破損がImageNet-Cと知覚的に異なる場合, 破損の顕著な劣化を観察する。 以上の結果から,テストエラーは知覚的に類似した拡張をトレーニングすることで改善できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-02-22T18:58:39Z)
• Revisiting Batch Normalization for Improving Corruption Robustness [85.20742045853738]
  モデルロバスト性を改善するために, モデルロバスト性を改善するために, バッチ正規化統計の修正を提案する。 モデルを再トレーニングすることなく、BN統計をいくつかの表現サンプル上で単純に推定し、適応させることで、大きなマージンによる腐敗の堅牢性を向上させることが判明した。
  論文  参考訳（メタデータ） (2020-10-07T19:56:47Z)
• A simple way to make neural networks robust against diverse image corruptions [29.225922892332342]
  加法ガウスノイズとスペククルノイズを用いた簡易だが適切に調整されたトレーニングが、予期せぬ汚職に対して驚くほどうまく一般化することを示す。 非相関な最悪の雑音に対する認識モデルの逆トレーニングは、さらなる性能向上につながる。
  論文  参考訳（メタデータ） (2020-01-16T20:10:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。