論文の概要: On the effectiveness of adversarial training against common corruptions
- arxiv url: http://arxiv.org/abs/2103.02325v1
- Date: Wed, 3 Mar 2021 11:04:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-06 14:59:49.917745
- Title: On the effectiveness of adversarial training against common corruptions
- Title（参考訳）: 共通腐敗に対する敵対的訓練の有効性について
- Authors: Klim Kireev, Maksym Andriushchenko, Nicolas Flammarion
- Abstract要約: 敵の訓練は、共通の腐敗に対する強力なベースラインとなり得ることを実証する。
提案手法は,$ell_p$ の学習ベースラインを改良するだけでなく,データ拡張法で累積的に向上することを示す。
- 参考スコア（独自算出の注目度）: 29.596070201105277
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The literature on robustness towards common corruptions shows no consensus on
whether adversarial training can improve the performance in this setting.
First, we show that, when used with an appropriately selected perturbation
radius, $\ell_p$ adversarial training can serve as a strong baseline against
common corruptions. Then we explain why adversarial training performs better
than data augmentation with simple Gaussian noise which has been observed to be
a meaningful baseline on common corruptions. Related to this, we identify the
$\sigma$-overfitting phenomenon when Gaussian augmentation overfits to a
particular standard deviation used for training which has a significant
detrimental effect on common corruption accuracy. We discuss how to alleviate
this problem and then how to further enhance $\ell_p$ adversarial training by
introducing an efficient relaxation of adversarial training with learned
perceptual image patch similarity as the distance metric. Through experiments
on CIFAR-10 and ImageNet-100, we show that our approach does not only improve
the $\ell_p$ adversarial training baseline but also has cumulative gains with
data augmentation methods such as AugMix, ANT, and SIN leading to
state-of-the-art performance on common corruptions. The code of our experiments
is publicly available at https://github.com/tml-epfl/adv-training-corruptions.
- Abstract（参考訳）: 共通の腐敗に対するロバスト性に関する文献は、この設定で敵意トレーニングがパフォーマンスを向上させることができるかどうかについてのコンセンサスを示さない。
まず, 適切に選択された摂動半径を持つ場合, $\ell_p$ が共通の腐敗に対する強力なベースラインとなることを示す。
そこで本稿では, 単純なガウス雑音によるデータ拡張よりも, 対人訓練が優れた理由を説明する。
これに関連して、ガウスの増補が一般的な汚職精度に顕著な有害な影響を及ぼす訓練に使用される特定の標準偏差に過適合する場合に、$\sigma$-overfitting 現象を同定する。
本稿では、この問題を緩和し、学習された知覚的イメージパッチ類似度を距離メトリックとして、対人訓練を効率的に緩和することにより、さらに$\ell_p$の対人トレーニングを強化する方法について論じる。
CIFAR-10とImageNet-100の実験を通して、我々のアプローチは、$\ell_p$の逆行トレーニングベースラインを改善するだけでなく、AugMix、ANT、SINなどのデータ拡張手法による累積的なゲインを持つことを示した。
実験のコードはhttps://github.com/tml-epfl/adv-training-corruptions.comで公開されている。
関連論文リスト
- On adversarial training and the 1 Nearest Neighbor classifier [8.248839892711478]
対人訓練の性能を,単純な1NN(Nearest Neighbor)分類器と比較した。
CIFAR10、MNIST、Fashion-MNISTから得られた135種類のバイナリ画像分類問題の実験。
1NNはトレーニング中に使用したものとわずかに異なる摂動に対する堅牢性という点で、ほとんどすべてに優れています。
論文 参考訳（メタデータ） (2024-04-09T13:47:37Z) - Improved Adversarial Training Through Adaptive Instance-wise Loss
Smoothing [5.1024659285813785]
敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。
本稿では,新たな対人訓練手法を提案する。
本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
論文 参考訳（メタデータ） (2023-03-24T15:41:40Z) - Soft Diffusion: Score Matching for General Corruptions [84.26037497404195]
我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。
本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。
提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-09-12T17:45:03Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Linear Contextual Bandits with Adversarial Corruptions [91.38793800392108]
本稿では,敵対的腐敗の存在下での線形文脈的包帯問題について検討する。
逆汚染レベルに適応する分散認識アルゴリズムをC$で提案する。
論文 参考訳（メタデータ） (2021-10-25T02:53:24Z) - Guided Interpolation for Adversarial Training [73.91493448651306]
トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。
本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。
バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
論文 参考訳（メタデータ） (2021-02-15T03:55:08Z) - Semantics-Preserving Adversarial Training [12.242659601882147]
逆行訓練は、訓練データに逆行例を含めることで、ディープニューラルネットワーク(DNN)の逆行性を改善する技術である。
本研究では,すべてのクラスで共有される画素の摂動を促すセマンティックス保存逆行訓練(SPAT)を提案する。
実験の結果,SPATは対向ロバスト性を向上し,CIFAR-10およびCIFAR-100の最先端結果を達成することがわかった。
論文 参考訳（メタデータ） (2020-09-23T07:42:14Z) - Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。
また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文 参考訳（メタデータ） (2020-02-26T15:40:50Z) - Fast is better than free: Revisiting adversarial training [86.11788847990783]
より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。
我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
論文 参考訳（メタデータ） (2020-01-12T20:30:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。