論文の概要: Adversarial Feature Alignment: Balancing Robustness and Accuracy in Deep
Learning via Adversarial Training
- arxiv url: http://arxiv.org/abs/2402.12187v1
- Date: Mon, 19 Feb 2024 14:51:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 16:12:16.683447
- Title: Adversarial Feature Alignment: Balancing Robustness and Accuracy in Deep
Learning via Adversarial Training
- Title(参考訳): adversarial feature alignment:adversarial trainingによるディープラーニングにおけるロバスト性と精度のバランス
- Authors: Leo Hyun Park, Jaeuk Kim, Myung Gyo Oh, Jaewoo Park, Taekyoung Kwon
- Abstract要約: 敵の攻撃に対する堅牢性を高めることによりこの問題を軽減するために、敵の訓練が使用される。
このアプローチは典型的には、クリーンで非敵対的なサンプルに対するモデルの標準精度を低下させる。
本稿では,これらの問題に対処するために,AFA (Adversarial Feature Alignment) と呼ばれる新たな対人訓練手法を提案する。
- 参考スコア(独自算出の注目度): 10.099179580467737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models continue to advance in accuracy, yet they remain
vulnerable to adversarial attacks, which often lead to the misclassification of
adversarial examples. Adversarial training is used to mitigate this problem by
increasing robustness against these attacks. However, this approach typically
reduces a model's standard accuracy on clean, non-adversarial samples. The
necessity for deep learning models to balance both robustness and accuracy for
security is obvious, but achieving this balance remains challenging, and the
underlying reasons are yet to be clarified. This paper proposes a novel
adversarial training method called Adversarial Feature Alignment (AFA), to
address these problems. Our research unveils an intriguing insight:
misalignment within the feature space often leads to misclassification,
regardless of whether the samples are benign or adversarial. AFA mitigates this
risk by employing a novel optimization algorithm based on contrastive learning
to alleviate potential feature misalignment. Through our evaluations, we
demonstrate the superior performance of AFA. The baseline AFA delivers higher
robust accuracy than previous adversarial contrastive learning methods while
minimizing the drop in clean accuracy to 1.86% and 8.91% on CIFAR10 and
CIFAR100, respectively, in comparison to cross-entropy. We also show that joint
optimization of AFA and TRADES, accompanied by data augmentation using a recent
diffusion model, achieves state-of-the-art accuracy and robustness.
- Abstract(参考訳): 深層学習モデルは精度が向上し続けているが、敵の攻撃に弱いままであり、しばしば敵の例の誤分類につながる。
敵の訓練はこれらの攻撃に対する堅牢性を高めることでこの問題を軽減するために使用される。
しかし、このアプローチは通常、クリーンで非敵対的なサンプルに対するモデルの標準精度を低下させる。
セキュリティのための堅牢性と正確性のバランスをとるためのディープラーニングモデルの必要性は明らかだが、このバランスを達成することは依然として困難であり、根底にある理由はまだ明らかになっていない。
本稿では,これらの問題に対処するために,AFA (Adversarial Feature Alignment) と呼ばれる新しい対人訓練手法を提案する。
特徴空間内の不一致は、サンプルが良性であるか敵対的であるかに関わらず、しばしば誤分類につながる。
AFAはこのリスクを軽減し、コントラスト学習に基づく新しい最適化アルゴリズムを用いて潜在的な特徴の不一致を軽減する。
評価を通じて,AFAの優れた性能を示す。
ベースラインAFAは,CIFAR10とCIFAR100でそれぞれ1.86%,8.91%の清潔度低下を最小化しつつ,従来の対向的コントラスト学習法よりもロバストな精度を提供する。
また,最近の拡散モデルを用いたデータ拡張に伴うAFAとTRADESの共同最適化により,最先端の精度と堅牢性が得られることを示す。
関連論文リスト
- The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。
FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。
実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
論文 参考訳(メタデータ) (2024-02-18T23:14:40Z) - Focus on Hiders: Exploring Hidden Threats for Enhancing Adversarial
Training [20.1991376813843]
我々は、HFAT(Hider-Focused Adversarial Training)と呼ばれる一般化した逆トレーニングアルゴリズムを提案する。
HFATは、標準的な対向訓練と予防隠蔽装置の最適化方向を組み合わせたものである。
提案手法の有効性を実験により検証した。
論文 参考訳(メタデータ) (2023-12-12T08:41:18Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳(メタデータ) (2023-10-19T13:13:41Z) - Alleviating Robust Overfitting of Adversarial Training With Consistency
Regularization [9.686724616328874]
対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。
強靭性は特定の段階で急激に低下し、常にATの間に存在する。
半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
論文 参考訳(メタデータ) (2022-05-24T03:18:43Z) - Interpolated Joint Space Adversarial Training for Robust and
Generalizable Defenses [82.3052187788609]
敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。
近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。
我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。
JSTMでは,新たな敵攻撃・防衛手法が開発されている。
論文 参考訳(メタデータ) (2021-12-12T21:08:14Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳(メタデータ) (2021-05-31T17:01:05Z) - Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。
CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
論文 参考訳(メタデータ) (2021-03-24T12:01:24Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2020-12-25T20:50:15Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳(メタデータ) (2020-12-02T15:30:21Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳(メタデータ) (2020-10-26T04:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。