論文の概要: Stability and Generalization in Free Adversarial Training

• arxiv url: http://arxiv.org/abs/2404.08980v1
• Date: Sat, 13 Apr 2024 12:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 17:43:54.795563
• Title: Stability and Generalization in Free Adversarial Training
• Title（参考訳）: 対人訓練における安定性と一般化
• Authors: Xiwei Cheng, Kexin Fu, Farzan Farnia,
• Abstract要約: 本稿では,アルゴリズム的安定性フレームワークを用いた対向学習手法の一般化性能について検討する。 証明された一般化境界は, 自由対数学習法が, トレーニングとテストサンプル間の一般化ギャップを低くすることができることを示している。
• 参考スコア（独自算出の注目度）: 9.831489366502302
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While adversarial training methods have resulted in significant improvements in the deep neural nets' robustness against norm-bounded adversarial perturbations, their generalization performance from training samples to test data has been shown to be considerably worse than standard empirical risk minimization methods. Several recent studies seek to connect the generalization behavior of adversarially trained classifiers to various gradient-based min-max optimization algorithms used for their training. In this work, we study the generalization performance of adversarial training methods using the algorithmic stability framework. Specifically, our goal is to compare the generalization performance of the vanilla adversarial training scheme fully optimizing the perturbations at every iteration vs. the free adversarial training simultaneously optimizing the norm-bounded perturbations and classifier parameters. Our proven generalization bounds indicate that the free adversarial training method could enjoy a lower generalization gap between training and test samples due to the simultaneous nature of its min-max optimization algorithm. We perform several numerical experiments to evaluate the generalization performance of vanilla, fast, and free adversarial training methods. Our empirical findings also show the improved generalization performance of the free adversarial training method and further demonstrate that the better generalization result could translate to greater robustness against black-box attack schemes. The code is available at https://github.com/Xiwei-Cheng/Stability_FreeAT.
• Abstract（参考訳）: 逆行訓練法は, ニューラルネットのノルム束縛された逆行性摂動に対する頑健性に大きな改善をもたらしたが, トレーニングサンプルからテストデータへの一般化性能は, 標準的な経験的リスク最小化法よりもかなり悪いことが示されている。 いくつかの最近の研究は、敵対的に訓練された分類器の一般化挙動を、訓練に使用する様々な勾配に基づくmin-max最適化アルゴリズムに結びつけることを目指している。 本研究では,アルゴリズム的安定性フレームワークを用いて,逆学習手法の一般化性能について検討する。 具体的には、各反復における摂動を最適化するバニラ対向学習法と、標準有界摂動と分類器パラメータを同時に最適化する自由対向学習法の一般化性能を比較することを目的とする。 証明された一般化境界は, min-max最適化アルゴリズムの同時性により, 学習結果と試験値との一般化ギャップを低くすることができることを示す。 我々は,バニラ,高速,自由な対人訓練手法の一般化性能を評価するために,いくつかの数値実験を行った。 また, 実験結果から, 対人訓練法の一般化性能の向上が示され, さらに, より優れた一般化結果がブラックボックス攻撃方式に対する堅牢性の向上につながる可能性が示唆された。 コードはhttps://github.com/Xiwei-Cheng/Stability_FreeATで公開されている。

関連論文リスト

• Revisiting and Maximizing Temporal Knowledge in Semi-supervised Semantic Segmentation [7.005068872406135]
  平均教師と共同学習に基づくアプローチは、確認バイアスと結合問題を緩和するために用いられる。 これらのアプローチは、複雑なトレーニングパイプラインとかなりの計算負担を伴うことが多い。 本稿では,トレーニングプロセス中に得られた時間的知識を最大限活用することにより,制約を効果的に緩和するPrevMatchフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T03:54:59Z)
• Adversarial Training Should Be Cast as a Non-Zero-Sum Game [121.95628660889628]
  対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。 敵のトレーニングアルゴリズムでよく使われるサロゲートベースの緩和は、ロバスト性に関するすべての保証を無効にすることを示す。 対人訓練の新たな非ゼロサム二段階の定式化は、一致し、場合によっては最先端の攻撃よりも優れたフレームワークをもたらす。
  論文  参考訳（メタデータ） (2023-06-19T16:00:48Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Learning Less Generalizable Patterns with an Asymmetrically Trained Double Classifier for Better Test-Time Adaptation [4.893694715581673]
  本稿では,一対の分類器とショートカットパターンによる回避損失を用いた新しい手法を提案する。 本手法は両ベンチマークの最先端結果を改善し,テスト時間バッチ正規化に最も有効である。
  論文  参考訳（メタデータ） (2022-10-17T08:05:38Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Robustness-via-Synthesis: Robust Training with Generative Adversarial Perturbations [10.140147080535224]
  先制攻撃による敵の訓練は、今日の敵の摂動に対する最も効果的な防御の1つである。 本研究では, 逆方向の摂動を自動的にランダムなベクトルから生成ネットワークを用いて合成する頑健な学習アルゴリズムを提案する。 実験結果から, 提案手法は様々な勾配に基づく, 生成的ロバストトレーニング手法により, 同等のロバスト性が得られることがわかった。
  論文  参考訳（メタデータ） (2021-08-22T13:15:24Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)
• CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
  そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。 提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-17T06:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。