論文の概要: Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing

• arxiv url: http://arxiv.org/abs/2303.14077v1
• Date: Fri, 24 Mar 2023 15:41:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 14:01:55.980012
• Title: Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing
• Title（参考訳）: 適応型インスタンスワイズ・スムースティングによる対人訓練の改善
• Authors: Lin Li, Michael Spratling
• Abstract要約: 敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。 本稿では,新たな対人訓練手法を提案する。 本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
• 参考スコア（独自算出の注目度）: 5.1024659285813785
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks can be easily fooled into making incorrect predictions through corruption of the input by adversarial perturbations: human-imperceptible artificial noise. So far adversarial training has been the most successful defense against such adversarial attacks. This work focuses on improving adversarial training to boost adversarial robustness. We first analyze, from an instance-wise perspective, how adversarial vulnerability evolves during adversarial training. We find that during training an overall reduction of adversarial loss is achieved by sacrificing a considerable proportion of training samples to be more vulnerable to adversarial attack, which results in an uneven distribution of adversarial vulnerability among data. Such "uneven vulnerability", is prevalent across several popular robust training methods and, more importantly, relates to overfitting in adversarial training. Motivated by this observation, we propose a new adversarial training method: Instance-adaptive Smoothness Enhanced Adversarial Training (ISEAT). It jointly smooths both input and weight loss landscapes in an adaptive, instance-specific, way to enhance robustness more for those samples with higher adversarial vulnerability. Extensive experiments demonstrate the superiority of our method over existing defense methods. Noticeably, our method, when combined with the latest data augmentation and semi-supervised learning techniques, achieves state-of-the-art robustness against $\ell_{\infty}$-norm constrained attacks on CIFAR10 of 59.32% for Wide ResNet34-10 without extra data, and 61.55% for Wide ResNet28-10 with extra data. Code is available at https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT.
• Abstract（参考訳）: 深いニューラルネットワークは、逆の摂動によって入力が破壊され、人間の知覚できない人工ノイズによって誤った予測をすることができる。 これまでのところ、敵の訓練はこのような敵の攻撃に対する最も成功した防御であった。 この研究は、敵の堅牢性を高めるために敵の訓練を改善することに焦点を当てている。 まず、インスタンスの観点から、敵のトレーニング中に敵の脆弱性がどのように進化するかを分析します。 学習中,攻撃に対して脆弱なトレーニングサンプルのかなりの割合を犠牲にすることで,攻撃的損失の全体的な低減が達成され,その結果,データ間の攻撃的脆弱性が均一に分布することを見出した。 このような「不均一な脆弱性」は、いくつかの一般的なロバストなトレーニング方法に広まり、さらに重要なことは、敵のトレーニングにおける過剰フィッティングに関連している。 本研究の目的は,新たな対人訓練手法であるインスタンス適応型平滑化強化対人訓練(ISEAT)を提案することである。 入力と減量の両方のランドスケープを、適応的でインスタンス固有の方法で円滑にし、高い逆の脆弱性を持つサンプルに対してより堅牢性を高める。 本手法が既存の防御法よりも優れていることを示す。 特に,最新のデータ拡張と半教師付き学習技術を組み合わせることで,Wide ResNet34-10では59.32%,Wide ResNet28-10では61.55%,CIFAR10では$\ell_{\infty}$-normによる攻撃に対して,最先端の堅牢性を達成している。 コードはhttps://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-ATで公開されている。

関連論文リスト

• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Improving Adversarial Robustness with Self-Paced Hard-Class Pair Reweighting [5.084323778393556]
  標的外攻撃による敵の訓練は 最も認知されている方法の1つです 自然に不均衡なクラス間のセマンティックな類似性により、これらのハードクラスのペアが互いに仮想的なターゲットになる。 モデル最適化における重み付きハードクラスペアの損失について提案し、ハードクラスからの識別的特徴の学習を促す。
  論文  参考訳（メタデータ） (2022-10-26T22:51:36Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Semantics-Preserving Adversarial Training [12.242659601882147]
  逆行訓練は、訓練データに逆行例を含めることで、ディープニューラルネットワーク(DNN)の逆行性を改善する技術である。 本研究では,すべてのクラスで共有される画素の摂動を促すセマンティックス保存逆行訓練(SPAT)を提案する。 実験の結果,SPATは対向ロバスト性を向上し,CIFAR-10およびCIFAR-100の最先端結果を達成することがわかった。
  論文  参考訳（メタデータ） (2020-09-23T07:42:14Z)
• Improving adversarial robustness of deep neural networks by using semantic information [17.887586209038968]
  対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。 本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。 MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
  論文  参考訳（メタデータ） (2020-08-18T10:23:57Z)
• Adversarial Feature Desensitization [12.401175943131268]
  本稿では,ドメイン適応分野からの洞察を基盤とした,対向ロバスト性に対する新しいアプローチを提案する。 提案手法は,入力の逆方向の摂動に対して不変な特徴を学習することを目的として,AFD(Adversarial Feature Desensitization)と呼ばれる。
  論文  参考訳（メタデータ） (2020-06-08T14:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。