論文の概要: Towards Alternative Techniques for Improving Adversarial Robustness:
Analysis of Adversarial Training at a Spectrum of Perturbations
- arxiv url: http://arxiv.org/abs/2206.06496v1
- Date: Mon, 13 Jun 2022 22:01:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-15 14:59:47.835607
- Title: Towards Alternative Techniques for Improving Adversarial Robustness:
Analysis of Adversarial Training at a Spectrum of Perturbations
- Title（参考訳）: 対人ロバスト性向上のための代替手法:摂動スペクトルによる対人訓練の分析
- Authors: Kaustubh Sridhar, Souradeep Dutta, Ramneet Kaur, James Weimer, Oleg
Sokolsky, Insup Lee
- Abstract要約: 逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。
私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。
ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
- 参考スコア（独自算出の注目度）: 5.18694590238069
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training (AT) and its variants have spearheaded progress in
improving neural network robustness to adversarial perturbations and common
corruptions in the last few years. Algorithm design of AT and its variants are
focused on training models at a specified perturbation strength $\epsilon$ and
only using the feedback from the performance of that $\epsilon$-robust model to
improve the algorithm. In this work, we focus on models, trained on a spectrum
of $\epsilon$ values. We analyze three perspectives: model performance,
intermediate feature precision and convolution filter sensitivity. In each, we
identify alternative improvements to AT that otherwise wouldn't have been
apparent at a single $\epsilon$. Specifically, we find that for a PGD attack at
some strength $\delta$, there is an AT model at some slightly larger strength
$\epsilon$, but no greater, that generalizes best to it. Hence, we propose
overdesigning for robustness where we suggest training models at an $\epsilon$
just above $\delta$. Second, we observe (across various $\epsilon$ values) that
robustness is highly sensitive to the precision of intermediate features and
particularly those after the first and second layer. Thus, we propose adding a
simple quantization to defenses that improves accuracy on seen and unseen
adaptive attacks. Third, we analyze convolution filters of each layer of models
at increasing $\epsilon$ and notice that those of the first and second layer
may be solely responsible for amplifying input perturbations. We present our
findings and demonstrate our techniques through experiments with ResNet and
WideResNet models on the CIFAR-10 and CIFAR-10-C datasets.
- Abstract（参考訳）: 敵のトレーニング(AT)とその変種は、ここ数年で敵の摂動と一般的な腐敗に対するニューラルネットワークの堅牢性を改善する進歩を先導している。
ATのアルゴリズム設計とその変種は、特定の摂動強度$\epsilon$でトレーニングモデルに焦点を当てており、アルゴリズムを改善するために、その$\epsilon$-robustモデルのパフォーマンスからのフィードバックのみを使用する。
本研究では、$\epsilon$値のスペクトルに基づいてトレーニングされたモデルに焦点を当てる。
モデル性能,中間特徴量精度,畳み込みフィルタ感度の3つの視点を解析する。
それぞれにおいて、atに対する別の改善は、1つの$\epsilon$で明らかではありませんでした。
具体的には、PGD攻撃の強さが$\delta$の場合、ATモデルが$\epsilon$よりも少し大きくなるが、それ以上の場合、それを最大限に一般化する。
そこで我々は,ロバスト性に対する過剰設計を提案し,トレーニングモデルを$\epsilon$で提案する。
第二に、ロバスト性は中間的特徴の精度、特に第1層と第2層の後の精度に非常に敏感である(様々な$\epsilon$値全体で)。
そこで本研究では,アダプティブアタックの視認精度を向上させるための簡単な量子化手法を提案する。
第3に、モデルの各層の畳み込みフィルタを$\epsilon$で解析し、第1層と第2層の畳み込みが入力摂動の増幅にのみ責任があることに気づく。
我々は,CIFAR-10およびCIFAR-10-Cデータセット上でResNetおよびWideResNetモデルを用いて実験を行い,本手法を実証した。
関連論文リスト
- Class-Conditioned Transformation for Enhanced Robust Image Classification [19.738635819545554]
本稿では,Adrial-versa-Trained (AT)モデルを強化する新しいテスト時間脅威モデルを提案する。
コンディショナル・イメージ・トランスフォーメーションとディスタンス・ベース・予測(CODIP)を用いて動作する。
提案手法は,様々なモデル,ATメソッド,データセット,アタックタイプに関する広範な実験を通じて,最先端の成果を実証する。
論文 参考訳（メタデータ） (2023-03-27T17:28:20Z) - Differentially Private Image Classification from Features [53.75086935617644]
転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。
最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
論文 参考訳（メタデータ） (2022-11-24T04:04:20Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-08-17T05:42:59Z) - Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。
主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。
我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
論文 参考訳（メタデータ） (2022-07-04T01:39:37Z) - Data Augmentation Can Improve Robustness [21.485435979018256]
アドリアルトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。
モデルウェイト平均化と組み合わせることで、データの増大がロバストな精度を大幅に向上させることを示した。
特に、$ell_infty$ 標準束縛されたサイズ $epsilon = 8/255$ の摂動に対して、我々のモデルは外部データを使わずに60.07%の堅牢な精度に達する。
論文 参考訳（メタデータ） (2021-11-09T18:57:00Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳（メタデータ） (2021-05-31T17:01:05Z) - Adversarial robustness against multiple $l_p$-threat models at the price
of one and how to quickly fine-tune robust models to another threat model [79.05253587566197]
対向的堅牢性を実現するために, 対向的トレーニング (AT) を単一$l_p$-threatモデルで行うことが広く議論されている。
本稿では,$l_p$-threatモデルの結合に対する対角的ロバスト性を実現するための,シンプルで効率的なトレーニング手法を開発する。
論文 参考訳（メタデータ） (2021-05-26T12:20:47Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z) - Understanding Frank-Wolfe Adversarial Training [1.2183405753834557]
Adversarial Training(AT)は、最悪のケースの損失を最小限に抑えるために、堅牢な最適化問題を解決する技術です。
frank-wolfe adversarial trainingアプローチが提示され、pgd-atのような競争力レベルの堅牢性を提供する。
論文 参考訳（メタデータ） (2020-12-22T21:36:52Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z) - Towards Deep Learning Models Resistant to Large Perturbations [0.0]
敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。
とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
論文 参考訳（メタデータ） (2020-03-30T12:03:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。