論文の概要: Stability and Generalization in Free Adversarial Training
- arxiv url: http://arxiv.org/abs/2404.08980v2
- Date: Tue, 07 Jan 2025 08:49:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-08 15:48:22.392445
- Title: Stability and Generalization in Free Adversarial Training
- Title（参考訳）: 対人訓練における安定性と一般化
- Authors: Xiwei Cheng, Kexin Fu, Farzan Farnia,
- Abstract要約: 本稿では,アルゴリズム的安定性フレームワークを用いた対人訓練における一般化と最適化の相互関係を解析する。
本研究では,バニラ対逆トレーニング法と自由対逆トレーニング法を用いて学習したニューラルネットワークの一般化ギャップを比較した。
実験結果から, 自由対人訓練法は, 同様の反復回数に対して, より小さな一般化のギャップを生じさせる可能性が示唆された。
- 参考スコア（独自算出の注目度）: 9.831489366502302
- License:
- Abstract: While adversarial training methods have significantly improved the robustness of deep neural networks against norm-bounded adversarial perturbations, the generalization gap between their performance on training and test data is considerably greater than that of standard empirical risk minimization. Recent studies have aimed to connect the generalization properties of adversarially trained classifiers to the min-max optimization algorithm used in their training. In this work, we analyze the interconnections between generalization and optimization in adversarial training using the algorithmic stability framework. Specifically, our goal is to compare the generalization gap of neural networks trained using the vanilla adversarial training method, which fully optimizes perturbations at every iteration, with the free adversarial training method, which simultaneously optimizes norm-bounded perturbations and classifier parameters. We prove bounds on the generalization error of these methods, indicating that the free adversarial training method may exhibit a lower generalization gap between training and test samples due to its simultaneous min-max optimization of classifier weights and perturbation variables. We conduct several numerical experiments to evaluate the train-to-test generalization gap in vanilla and free adversarial training methods. Our empirical findings also suggest that the free adversarial training method could lead to a smaller generalization gap over a similar number of training iterations. The paper code is available at https://github.com/Xiwei-Cheng/Stability_FreeAT.
- Abstract（参考訳）: 対人訓練法は, 標準境界の対人摂動に対するディープニューラルネットワークの堅牢性を大幅に向上させたが, トレーニングにおける性能とテストデータとの一般化ギャップは, 標準的な経験的リスク最小化よりもはるかに大きい。
近年の研究では、逆向きに訓練された分類器の一般化特性と、学習に使用されるmin-max最適化アルゴリズムを結びつけることを目的としている。
本研究では,アルゴリズム的安定性フレームワークを用いて,対人訓練における一般化と最適化の相互関係を解析する。
具体的には、各反復における摂動を完全に最適化するバニラ対向学習法と、ノルム有界摂動と分類パラメータを同時に最適化する自由対向学習法とを用いてトレーニングされたニューラルネットワークの一般化ギャップを比較することを目的とする。
本研究では,これらの手法の一般化誤差に限界があることを証明し,自由対向学習法は,分類器重みと摂動変数の同時最適化により,トレーニングとテストサンプル間の一般化ギャップを低くすることができることを示した。
我々は,バニラと自由対向訓練法における列車間一般化ギャップを評価するために,いくつかの数値実験を行った。
また, 実験結果から, 自由対人訓練法は, 類似の反復回数よりも, より少ない一般化のギャップを生じさせる可能性が示唆された。
論文コードはhttps://github.com/Xiwei-Cheng/Stability_FreeATで公開されている。
関連論文リスト
- Revisiting and Maximizing Temporal Knowledge in Semi-supervised Semantic Segmentation [7.005068872406135]
平均教師と共同学習に基づくアプローチは、確認バイアスと結合問題を緩和するために用いられる。
これらのアプローチは、複雑なトレーニングパイプラインとかなりの計算負担を伴うことが多い。
本稿では,トレーニングプロセス中に得られた時間的知識を最大限活用することにより,制約を効果的に緩和するPrevMatchフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-31T03:54:59Z) - Adversarial Training Should Be Cast as a Non-Zero-Sum Game [121.95628660889628]
対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。
敵のトレーニングアルゴリズムでよく使われるサロゲートベースの緩和は、ロバスト性に関するすべての保証を無効にすることを示す。
対人訓練の新たな非ゼロサム二段階の定式化は、一致し、場合によっては最先端の攻撃よりも優れたフレームワークをもたらす。
論文 参考訳（メタデータ） (2023-06-19T16:00:48Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Learning Less Generalizable Patterns with an Asymmetrically Trained
Double Classifier for Better Test-Time Adaptation [4.893694715581673]
本稿では,一対の分類器とショートカットパターンによる回避損失を用いた新しい手法を提案する。
本手法は両ベンチマークの最先端結果を改善し,テスト時間バッチ正規化に最も有効である。
論文 参考訳（メタデータ） (2022-10-17T08:05:38Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Robustness-via-Synthesis: Robust Training with Generative Adversarial
Perturbations [10.140147080535224]
先制攻撃による敵の訓練は、今日の敵の摂動に対する最も効果的な防御の1つである。
本研究では, 逆方向の摂動を自動的にランダムなベクトルから生成ネットワークを用いて合成する頑健な学習アルゴリズムを提案する。
実験結果から, 提案手法は様々な勾配に基づく, 生成的ロバストトレーニング手法により, 同等のロバスト性が得られることがわかった。
論文 参考訳（メタデータ） (2021-08-22T13:15:24Z) - Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。
また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文 参考訳（メタデータ） (2020-02-26T15:40:50Z) - CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。
提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
論文 参考訳（メタデータ） (2020-02-17T06:13:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。