論文の概要: Improving Generalization of Adversarial Training via Robust Critical Fine-Tuning

• arxiv url: http://arxiv.org/abs/2308.02533v1
• Date: Tue, 1 Aug 2023 09:02:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 01:10:48.681020
• Title: Improving Generalization of Adversarial Training via Robust Critical Fine-Tuning
• Title（参考訳）: ロバスト臨界微調整による対人訓練の一般化
• Authors: Kaijie Zhu, Jindong Wang, Xixu Hu, Xing Xie, Ge Yang
• Abstract要約: ディープニューラルネットワークは敵の例に影響を受けやすく、重要なアプリケーションにおいて重大なセキュリティリスクを生じさせる。 本稿では,対向的強靭性を損なうことなく一般化を促進する新しい手法であるロバストネスクリティカルファインタニング(RiFT)を提案する。
• 参考スコア（独自算出の注目度）: 19.91117174405902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are susceptible to adversarial examples, posing a significant security risk in critical applications. Adversarial Training (AT) is a well-established technique to enhance adversarial robustness, but it often comes at the cost of decreased generalization ability. This paper proposes Robustness Critical Fine-Tuning (RiFT), a novel approach to enhance generalization without compromising adversarial robustness. The core idea of RiFT is to exploit the redundant capacity for robustness by fine-tuning the adversarially trained model on its non-robust-critical module. To do so, we introduce module robust criticality (MRC), a measure that evaluates the significance of a given module to model robustness under worst-case weight perturbations. Using this measure, we identify the module with the lowest MRC value as the non-robust-critical module and fine-tune its weights to obtain fine-tuned weights. Subsequently, we linearly interpolate between the adversarially trained weights and fine-tuned weights to derive the optimal fine-tuned model weights. We demonstrate the efficacy of RiFT on ResNet18, ResNet34, and WideResNet34-10 models trained on CIFAR10, CIFAR100, and Tiny-ImageNet datasets. Our experiments show that \method can significantly improve both generalization and out-of-distribution robustness by around 1.5% while maintaining or even slightly enhancing adversarial robustness. Code is available at https://github.com/microsoft/robustlearn.
• Abstract（参考訳）: ディープニューラルネットワークは敵の例に影響を受けやすく、重要なアプリケーションにおいて重大なセキュリティリスクを生じさせる。 敵意訓練(adversarial training, at)は、敵意の強固さを高めるための確立された技術であるが、しばしば一般化能力の低下のコストがかかる。 本稿では,対向的強靭性を損なうことなく一般化を促進する新しい手法として,ロバストネスクリティカルファインタニング(RiFT)を提案する。 RiFTの中核となる考え方は、非ロバストクリティカルモジュール上で逆向きに訓練されたモデルを微調整することで、冗長なキャパシティを堅牢性に活用することである。 そこで本稿では,最悪の重み摂動下でのロバストネスをモデル化するためのモジュールの重要度を評価する尺度である,モジュールロバスト臨界(MRC)を導入する。 この測定値を用いて、最小の MRC 値のモジュールを非ロバスト臨界モジュールとして同定し、その重みを微調整して微調整重みを得る。 その後, 逆向きに訓練した重量と微調整した重量との間に線形に補間し, 最適微調整モデル重量を導出する。 CIFAR10, CIFAR100, Tiny-ImageNetデータセットで学習したResNet18, ResNet34, WideResNet34-10モデルに対するRiFTの有効性を示す。 実験により,汎化と分布外ロバスト性が約1.5%向上すると同時に,逆ロバスト性が維持あるいはわずかに向上することを示した。 コードはhttps://github.com/microsoft/robustlearnで入手できる。

関連論文リスト

• Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
  我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。 本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。 本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
  論文  参考訳（メタデータ） (2024-06-28T03:10:36Z)
• FullLoRA-AT: Efficiently Boosting the Robustness of Pretrained Vision Transformers [61.48709409150777]
  Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。 既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。 従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。 本稿では,学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRA-ATフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-03T14:08:39Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Bayesian Learning with Information Gain Provably Bounds Risk for a Robust Adversarial Defense [27.545466364906773]
  敵攻撃に対して堅牢なディープニューラルネットワークモデルを学習するための新しいアルゴリズムを提案する。 本モデルでは, PGD 攻撃下での対人訓練と Adv-BNN との比較により, 強靭性は20%まで向上した。
  論文  参考訳（メタデータ） (2022-12-05T03:26:08Z)
• Enhancing Adversarial Training with Second-Order Statistics of Weights [23.90998469971413]
  モデル重みをランダム変数として扱うことにより,textbfSecond-Order textbfStatistics textbfOptimization による逆トレーニングの強化が可能であることを示す。 我々は、S$2$Oが、単独で使用する場合のトレーニングニューラルネットワークの堅牢性と一般化を向上するだけでなく、最先端の対人訓練技術にも容易に統合できることを示す広範な実験を行う。
  論文  参考訳（メタデータ） (2022-03-11T15:40:57Z)
• Interpolated Joint Space Adversarial Training for Robust and Generalizable Defenses [82.3052187788609]
  敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。 近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。 我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。 JSTMでは,新たな敵攻撃・防衛手法が開発されている。
  論文  参考訳（メタデータ） (2021-12-12T21:08:14Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
  アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。 トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。 特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
  論文  参考訳（メタデータ） (2021-02-17T16:58:04Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
  モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。 本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-03T04:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。