論文の概要: Revisiting Batch Normalization for Improving Corruption Robustness
- arxiv url: http://arxiv.org/abs/2010.03630v4
- Date: Thu, 28 Jan 2021 08:35:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 23:47:34.140373
- Title: Revisiting Batch Normalization for Improving Corruption Robustness
- Title(参考訳): 破壊ロバスト性向上のためのバッチ正規化の再検討
- Authors: Philipp Benz, Chaoning Zhang, Adil Karjauv, In So Kweon
- Abstract要約: モデルロバスト性を改善するために, モデルロバスト性を改善するために, バッチ正規化統計の修正を提案する。
モデルを再トレーニングすることなく、BN統計をいくつかの表現サンプル上で単純に推定し、適応させることで、大きなマージンによる腐敗の堅牢性を向上させることが判明した。
- 参考スコア(独自算出の注目度): 85.20742045853738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The performance of DNNs trained on clean images has been shown to decrease
when the test images have common corruptions. In this work, we interpret
corruption robustness as a domain shift and propose to rectify batch
normalization (BN) statistics for improving model robustness. This is motivated
by perceiving the shift from the clean domain to the corruption domain as a
style shift that is represented by the BN statistics. We find that simply
estimating and adapting the BN statistics on a few (32 for instance)
representation samples, without retraining the model, improves the corruption
robustness by a large margin on several benchmark datasets with a wide range of
model architectures. For example, on ImageNet-C, statistics adaptation improves
the top1 accuracy of ResNet50 from 39.2% to 48.7%. Moreover, we find that this
technique can further improve state-of-the-art robust models from 58.1% to
63.3%.
- Abstract(参考訳): クリーンな画像でトレーニングされたDNNの性能は、テスト画像が共通の腐敗を経験すると低下することが示されている。
本研究では,腐敗のロバスト性をドメインシフトとして解釈し,モデルロバスト性を改善するためにバッチ正規化(bn)統計の修正を提案する。
これはbn統計で表されるスタイルシフトとしてクリーンドメインから汚職ドメインへのシフトを知覚することで動機付けられたものである。
モデルの再トレーニングを行わずに、いくつかの(例えば32の)表現サンプルでbn統計を推定し、適応するだけで、広範囲のモデルアーキテクチャを持ついくつかのベンチマークデータセットにおいて、腐敗の堅牢性を大きなマージンで改善できることがわかった。
例えばimagenet-cでは、統計適応によってresnet50のトップ1の精度が39.2%から48.7%に向上している。
さらに、この手法は最先端のロバストモデルをさらに58.1%から63.3%に改善できることがわかった。
関連論文リスト
- Dynamic Batch Norm Statistics Update for Natural Robustness [5.366500153474747]
本稿では,汚職検出モデルとBN統計更新からなる統合フレームワークを提案する。
CIFAR10-CとImageNet-Cの精度は8%, 4%向上した。
論文 参考訳(メタデータ) (2023-10-31T17:20:30Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-06T11:51:28Z) - Counterbalancing Teacher: Regularizing Batch Normalized Models for
Robustness [15.395021925719817]
バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。
BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。
本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
論文 参考訳(メタデータ) (2022-07-04T16:16:24Z) - Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。
主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。
我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
論文 参考訳(メタデータ) (2022-07-04T01:39:37Z) - Benchmarks for Corruption Invariant Person Re-identification [31.919264399996475]
本研究では,マーケット-1501,CUHK03,MSMT17,RegDB,SYSU-MM01など,単品間および多品間データセットにおける汚い不変性学習について検討した。
トランスフォーマーベースのモデルは、CNNベースのモデルと比較して、破損したイメージに対してより堅牢である。
クロスデータセットの一般化は、腐敗の堅牢性を高めることで改善される。
論文 参考訳(メタデータ) (2021-11-01T12:14:28Z) - Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
我々は,推論中に深層モデルを新しい環境に適応させることを提案する。
バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。
また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
論文 参考訳(メタデータ) (2021-10-06T08:45:03Z) - Improving robustness against common corruptions with frequency biased
models [112.65717928060195]
目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします
画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。
畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
論文 参考訳(メタデータ) (2021-03-30T10:44:50Z) - On Interaction Between Augmentations and Corruptions in Natural
Corruption Robustness [78.6626755563546]
ImageNet-Cのパフォーマンスを大幅に改善するいくつかの新しいデータ拡張が提案されている。
我々は,類似度と性能の間に強い相関があることを示すために,最小サンプル距離(minimal sample distance)と呼ばれる拡張と腐敗の間の新たな尺度を開発した。
テストタイムの破損がImageNet-Cと知覚的に異なる場合, 破損の顕著な劣化を観察する。
以上の結果から,テストエラーは知覚的に類似した拡張をトレーニングすることで改善できる可能性が示唆された。
論文 参考訳(メタデータ) (2021-02-22T18:58:39Z) - Improving robustness against common corruptions by covariate shift
adaptation [29.27289096759534]
最先端のマシンビジョンモデルは、ぼやけや圧縮アーチファクトといったイメージの破損に対して脆弱である。
一般的な汚職に対するモデル堅牢性を測定するための一般的なベンチマークは、多くの(すべてではないが)アプリケーションシナリオでモデル堅牢性を過小評価している、と我々は主張する。
論文 参考訳(メタデータ) (2020-06-30T17:01:37Z) - A simple way to make neural networks robust against diverse image
corruptions [29.225922892332342]
加法ガウスノイズとスペククルノイズを用いた簡易だが適切に調整されたトレーニングが、予期せぬ汚職に対して驚くほどうまく一般化することを示す。
非相関な最悪の雑音に対する認識モデルの逆トレーニングは、さらなる性能向上につながる。
論文 参考訳(メタデータ) (2020-01-16T20:10:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。