論文の概要: Stability and Generalization in Free Adversarial Training
- arxiv url: http://arxiv.org/abs/2404.08980v2
- Date: Tue, 07 Jan 2025 08:49:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-08 15:48:22.392445
- Title: Stability and Generalization in Free Adversarial Training
- Title（参考訳）: 対人訓練における安定性と一般化
- Authors: Xiwei Cheng, Kexin Fu, Farzan Farnia,
- Abstract要約: 本稿では,アルゴリズム的安定性フレームワークを用いた対人訓練における一般化と最適化の相互関係を解析する。
本研究では,バニラ対逆トレーニング法と自由対逆トレーニング法を用いて学習したニューラルネットワークの一般化ギャップを比較した。
実験結果から, 自由対人訓練法は, 同様の反復回数に対して, より小さな一般化のギャップを生じさせる可能性が示唆された。
- 参考スコア（独自算出の注目度）: 9.831489366502302
- License:
- Abstract: While adversarial training methods have significantly improved the robustness of deep neural networks against norm-bounded adversarial perturbations, the generalization gap between their performance on training and test data is considerably greater than that of standard empirical risk minimization. Recent studies have aimed to connect the generalization properties of adversarially trained classifiers to the min-max optimization algorithm used in their training. In this work, we analyze the interconnections between generalization and optimization in adversarial training using the algorithmic stability framework. Specifically, our goal is to compare the generalization gap of neural networks trained using the vanilla adversarial training method, which fully optimizes perturbations at every iteration, with the free adversarial training method, which simultaneously optimizes norm-bounded perturbations and classifier parameters. We prove bounds on the generalization error of these methods, indicating that the free adversarial training method may exhibit a lower generalization gap between training and test samples due to its simultaneous min-max optimization of classifier weights and perturbation variables. We conduct several numerical experiments to evaluate the train-to-test generalization gap in vanilla and free adversarial training methods. Our empirical findings also suggest that the free adversarial training method could lead to a smaller generalization gap over a similar number of training iterations. The paper code is available at https://github.com/Xiwei-Cheng/Stability_FreeAT.
- Abstract（参考訳）: 対人訓練法は, 標準境界の対人摂動に対するディープニューラルネットワークの堅牢性を大幅に向上させたが, トレーニングにおける性能とテストデータとの一般化ギャップは, 標準的な経験的リスク最小化よりもはるかに大きい。
近年の研究では、逆向きに訓練された分類器の一般化特性と、学習に使用されるmin-max最適化アルゴリズムを結びつけることを目的としている。
本研究では,アルゴリズム的安定性フレームワークを用いて,対人訓練における一般化と最適化の相互関係を解析する。
具体的には、各反復における摂動を完全に最適化するバニラ対向学習法と、ノルム有界摂動と分類パラメータを同時に最適化する自由対向学習法とを用いてトレーニングされたニューラルネットワークの一般化ギャップを比較することを目的とする。
本研究では,これらの手法の一般化誤差に限界があることを証明し,自由対向学習法は,分類器重みと摂動変数の同時最適化により,トレーニングとテストサンプル間の一般化ギャップを低くすることができることを示した。
我々は,バニラと自由対向訓練法における列車間一般化ギャップを評価するために,いくつかの数値実験を行った。
また, 実験結果から, 自由対人訓練法は, 類似の反復回数よりも, より少ない一般化のギャップを生じさせる可能性が示唆された。
論文コードはhttps://github.com/Xiwei-Cheng/Stability_FreeATで公開されている。
関連論文リスト
- Learn2Mix: Training Neural Networks Using Adaptive Data Integration [24.082008483056462]
learn2mixは、バッチ内のクラス比率を適応的に調整し、エラー率の高いクラスに焦点を当てる、新しいトレーニング戦略である。
ベンチマークデータセット上で実施された実証的な評価は、学習2mixでトレーニングされたニューラルネットワークが、既存のアプローチでトレーニングされたニューラルネットワークよりも早く収束していることを示している。
論文 参考訳（メタデータ） (2024-12-21T04:40:07Z) - Adversarial Training Should Be Cast as a Non-Zero-Sum Game [121.95628660889628]
対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。
敵のトレーニングアルゴリズムでよく使われるサロゲートベースの緩和は、ロバスト性に関するすべての保証を無効にすることを示す。
対人訓練の新たな非ゼロサム二段階の定式化は、一致し、場合によっては最先端の攻撃よりも優れたフレームワークをもたらす。
論文 参考訳（メタデータ） (2023-06-19T16:00:48Z) - CAT:Collaborative Adversarial Training [80.55910008355505]
ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。
具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。
Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
論文 参考訳（メタデータ） (2023-03-27T05:37:43Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。
本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-09-13T07:37:53Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Bridging the Gap: Unifying the Training and Evaluation of Neural Network
Binary Classifiers [0.4893345190925178]
本論文では,Heaviside関数の微分可能な近似と,ソフトセットを用いた典型的な混乱行列値の確率的ビューを組み合わせたニューラルネットワークバイナリ分類器の訓練手法を提案する。
我々の理論解析は,ソフトセットを用いた$F_$-Scoreなどの評価基準を最適化する手法の利点を示している。
論文 参考訳（メタデータ） (2020-09-02T22:13:26Z) - CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。
提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
論文 参考訳（メタデータ） (2020-02-17T06:13:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。