論文の概要: Stability and Generalization in Free Adversarial Training

• arxiv url: http://arxiv.org/abs/2404.08980v1
• Date: Sat, 13 Apr 2024 12:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 17:43:54.795563
• Title: Stability and Generalization in Free Adversarial Training
• Title（参考訳）: 対人訓練における安定性と一般化
• Authors: Xiwei Cheng, Kexin Fu, Farzan Farnia,
• Abstract要約: 本稿では,アルゴリズム的安定性フレームワークを用いた対向学習手法の一般化性能について検討する。 証明された一般化境界は, 自由対数学習法が, トレーニングとテストサンプル間の一般化ギャップを低くすることができることを示している。
• 参考スコア（独自算出の注目度）: 9.831489366502302
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While adversarial training methods have resulted in significant improvements in the deep neural nets' robustness against norm-bounded adversarial perturbations, their generalization performance from training samples to test data has been shown to be considerably worse than standard empirical risk minimization methods. Several recent studies seek to connect the generalization behavior of adversarially trained classifiers to various gradient-based min-max optimization algorithms used for their training. In this work, we study the generalization performance of adversarial training methods using the algorithmic stability framework. Specifically, our goal is to compare the generalization performance of the vanilla adversarial training scheme fully optimizing the perturbations at every iteration vs. the free adversarial training simultaneously optimizing the norm-bounded perturbations and classifier parameters. Our proven generalization bounds indicate that the free adversarial training method could enjoy a lower generalization gap between training and test samples due to the simultaneous nature of its min-max optimization algorithm. We perform several numerical experiments to evaluate the generalization performance of vanilla, fast, and free adversarial training methods. Our empirical findings also show the improved generalization performance of the free adversarial training method and further demonstrate that the better generalization result could translate to greater robustness against black-box attack schemes. The code is available at https://github.com/Xiwei-Cheng/Stability_FreeAT.
• Abstract（参考訳）: 逆行訓練法は, ニューラルネットのノルム束縛された逆行性摂動に対する頑健性に大きな改善をもたらしたが, トレーニングサンプルからテストデータへの一般化性能は, 標準的な経験的リスク最小化法よりもかなり悪いことが示されている。 いくつかの最近の研究は、敵対的に訓練された分類器の一般化挙動を、訓練に使用する様々な勾配に基づくmin-max最適化アルゴリズムに結びつけることを目指している。 本研究では,アルゴリズム的安定性フレームワークを用いて,逆学習手法の一般化性能について検討する。 具体的には、各反復における摂動を最適化するバニラ対向学習法と、標準有界摂動と分類器パラメータを同時に最適化する自由対向学習法の一般化性能を比較することを目的とする。 証明された一般化境界は, min-max最適化アルゴリズムの同時性により, 学習結果と試験値との一般化ギャップを低くすることができることを示す。 我々は,バニラ,高速,自由な対人訓練手法の一般化性能を評価するために,いくつかの数値実験を行った。 また, 実験結果から, 対人訓練法の一般化性能の向上が示され, さらに, より優れた一般化結果がブラックボックス攻撃方式に対する堅牢性の向上につながる可能性が示唆された。 コードはhttps://github.com/Xiwei-Cheng/Stability_FreeATで公開されている。

関連論文リスト

• Learn2Mix: Training Neural Networks Using Adaptive Data Integration [24.082008483056462]
  learn2mixは、バッチ内のクラス比率を適応的に調整し、エラー率の高いクラスに焦点を当てる、新しいトレーニング戦略である。 ベンチマークデータセット上で実施された実証的な評価は、学習2mixでトレーニングされたニューラルネットワークが、既存のアプローチでトレーニングされたニューラルネットワークよりも早く収束していることを示している。
  論文  参考訳（メタデータ） (2024-12-21T04:40:07Z)
• Adversarial Training Should Be Cast as a Non-Zero-Sum Game [121.95628660889628]
  対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。 敵のトレーニングアルゴリズムでよく使われるサロゲートベースの緩和は、ロバスト性に関するすべての保証を無効にすることを示す。 対人訓練の新たな非ゼロサム二段階の定式化は、一致し、場合によっては最先端の攻撃よりも優れたフレームワークをもたらす。
  論文  参考訳（メタデータ） (2023-06-19T16:00:48Z)
• CAT:Collaborative Adversarial Training [80.55910008355505]
  ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。 具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。 Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
  論文  参考訳（メタデータ） (2023-03-27T05:37:43Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
  トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。 本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-13T07:37:53Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Bridging the Gap: Unifying the Training and Evaluation of Neural Network Binary Classifiers [0.4893345190925178]
  本論文では,Heaviside関数の微分可能な近似と,ソフトセットを用いた典型的な混乱行列値の確率的ビューを組み合わせたニューラルネットワークバイナリ分類器の訓練手法を提案する。 我々の理論解析は,ソフトセットを用いた$F_$-Scoreなどの評価基準を最適化する手法の利点を示している。
  論文  参考訳（メタデータ） (2020-09-02T22:13:26Z)
• CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
  そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。 提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-17T06:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。