論文の概要: Revisiting Batch Normalization for Improving Corruption Robustness

• arxiv url: http://arxiv.org/abs/2010.03630v4
• Date: Thu, 28 Jan 2021 08:35:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 23:47:34.140373
• Title: Revisiting Batch Normalization for Improving Corruption Robustness
• Title（参考訳）: 破壊ロバスト性向上のためのバッチ正規化の再検討
• Authors: Philipp Benz, Chaoning Zhang, Adil Karjauv, In So Kweon
• Abstract要約: モデルロバスト性を改善するために, モデルロバスト性を改善するために, バッチ正規化統計の修正を提案する。 モデルを再トレーニングすることなく、BN統計をいくつかの表現サンプル上で単純に推定し、適応させることで、大きなマージンによる腐敗の堅牢性を向上させることが判明した。
• 参考スコア（独自算出の注目度）: 85.20742045853738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of DNNs trained on clean images has been shown to decrease when the test images have common corruptions. In this work, we interpret corruption robustness as a domain shift and propose to rectify batch normalization (BN) statistics for improving model robustness. This is motivated by perceiving the shift from the clean domain to the corruption domain as a style shift that is represented by the BN statistics. We find that simply estimating and adapting the BN statistics on a few (32 for instance) representation samples, without retraining the model, improves the corruption robustness by a large margin on several benchmark datasets with a wide range of model architectures. For example, on ImageNet-C, statistics adaptation improves the top1 accuracy of ResNet50 from 39.2% to 48.7%. Moreover, we find that this technique can further improve state-of-the-art robust models from 58.1% to 63.3%.
• Abstract（参考訳）: クリーンな画像でトレーニングされたDNNの性能は、テスト画像が共通の腐敗を経験すると低下することが示されている。 本研究では,腐敗のロバスト性をドメインシフトとして解釈し,モデルロバスト性を改善するためにバッチ正規化(bn)統計の修正を提案する。 これはbn統計で表されるスタイルシフトとしてクリーンドメインから汚職ドメインへのシフトを知覚することで動機付けられたものである。 モデルの再トレーニングを行わずに、いくつかの(例えば32の)表現サンプルでbn統計を推定し、適応するだけで、広範囲のモデルアーキテクチャを持ついくつかのベンチマークデータセットにおいて、腐敗の堅牢性を大きなマージンで改善できることがわかった。 例えばimagenet-cでは、統計適応によってresnet50のトップ1の精度が39.2%から48.7%に向上している。 さらに、この手法は最先端のロバストモデルをさらに58.1%から63.3%に改善できることがわかった。

関連論文リスト

• Improving Out-of-Distribution Data Handling and Corruption Resistance via Modern Hopfield Networks [0.0]
  本研究は,コンピュータビジョンモデルによるアウト・オブ・ディストリビューションデータ処理能力の向上における,Modern Hopfield Networks (MHN) の可能性を探るものである。 我々は,MHNをベースラインモデルに統合し,ロバスト性を高めることを提案する。 本研究は,MNIST-Cデータセットのモデル性能を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2024-08-21T03:26:16Z)
• FFT-based Selection and Optimization of Statistics for Robust Recognition of Severely Corrupted Images [19.07004663565609]
  本稿では, 分類モデルのロバスト性向上のための新しい手法を提案する。 提案手法は,入力画像の劣化型を検出するために高周波特徴を用いて,層単位での特徴正規化統計を抽出する。 FROSTは、異なるモデルやデータセットに対する最先端の結果を提供し、ImageNet-Cの競合製品よりも37.1%も向上している。
  論文  参考訳（メタデータ） (2024-03-21T12:01:54Z)
• Dynamic Batch Norm Statistics Update for Natural Robustness [5.366500153474747]
  本稿では,汚職検出モデルとBN統計更新からなる統合フレームワークを提案する。 CIFAR10-CとImageNet-Cの精度は8%, 4%向上した。
  論文  参考訳（メタデータ） (2023-10-31T17:20:30Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
  敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。 主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。 我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T01:39:37Z)
• Benchmarks for Corruption Invariant Person Re-identification [31.919264399996475]
  本研究では,マーケット-1501,CUHK03,MSMT17,RegDB,SYSU-MM01など,単品間および多品間データセットにおける汚い不変性学習について検討した。 トランスフォーマーベースのモデルは、CNNベースのモデルと比較して、破損したイメージに対してより堅牢である。 クロスデータセットの一般化は、腐敗の堅牢性を高めることで改善される。
  論文  参考訳（メタデータ） (2021-11-01T12:14:28Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Improving robustness against common corruptions with frequency biased models [112.65717928060195]
  目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします 画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。 畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-30T10:44:50Z)
• On Interaction Between Augmentations and Corruptions in Natural Corruption Robustness [78.6626755563546]
  ImageNet-Cのパフォーマンスを大幅に改善するいくつかの新しいデータ拡張が提案されている。 我々は,類似度と性能の間に強い相関があることを示すために,最小サンプル距離(minimal sample distance)と呼ばれる拡張と腐敗の間の新たな尺度を開発した。 テストタイムの破損がImageNet-Cと知覚的に異なる場合, 破損の顕著な劣化を観察する。 以上の結果から,テストエラーは知覚的に類似した拡張をトレーニングすることで改善できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-02-22T18:58:39Z)
• Improving robustness against common corruptions by covariate shift adaptation [29.27289096759534]
  最先端のマシンビジョンモデルは、ぼやけや圧縮アーチファクトといったイメージの破損に対して脆弱である。 一般的な汚職に対するモデル堅牢性を測定するための一般的なベンチマークは、多くの(すべてではないが)アプリケーションシナリオでモデル堅牢性を過小評価している、と我々は主張する。
  論文  参考訳（メタデータ） (2020-06-30T17:01:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。