論文の概要: On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training

• arxiv url: http://arxiv.org/abs/2112.07324v2
• Date: Tue, 17 Dec 2024 08:17:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:54:49.206228
• Title: On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training
• Title（参考訳）: 逆行訓練におけるハード・アドベラル・インスタンスがオーバーフィッティングに及ぼす影響について
• Authors: Chen Liu, Zhichao Huang, Mathieu Salzmann, Tong Zhang, Sabine Süsstrunk,
• Abstract要約: 敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 本研究では,この現象をトレーニングインスタンスの観点から検討する。 逆行訓練における一般化性能の低下は、ハード・逆行例に適合した結果であることを示す。
• 参考スコア（独自算出の注目度）: 70.82725772926949
• License:
• Abstract: Adversarial training is a popular method to robustify models against adversarial attacks. However, it exhibits much more severe overfitting than training on clean inputs. In this work, we investigate this phenomenon from the perspective of training instances, i.e., training input-target pairs. Based on a quantitative metric measuring the relative difficulty of an instance in the training set, we analyze the model's behavior on training instances of different difficulty levels. This lets us demonstrate that the decay in generalization performance of adversarial training is a result of fitting hard adversarial instances. We theoretically verify our observations for both linear and general nonlinear models, proving that models trained on hard instances have worse generalization performance than ones trained on easy instances, and that this generalization gap increases with the size of the adversarial budget. Finally, we investigate solutions to mitigate adversarial overfitting in several scenarios, including fast adversarial training and fine-tuning a pretrained model with additional data. Our results demonstrate that using training data adaptively improves the model's robustness.
• Abstract（参考訳）: 敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 しかし、クリーンな入力のトレーニングよりもはるかに厳しいオーバーフィットを示す。 本研究では,この現象を,入力-ターゲットペアのトレーニングインスタンスの観点から検討する。 トレーニングセット内のインスタンスの相対的難易度を測定する定量的な測定値に基づいて、異なる難易度のトレーニングインスタンス上でのモデルの挙動を分析する。 これにより、対向トレーニングの一般化性能の減衰は、ハード対向インスタンスに適合した結果であることを示す。 線形および一般非線形モデルの観測を理論的に検証し、ハードインスタンスで訓練されたモデルは、簡単なインスタンスで訓練されたモデルよりもより悪い一般化性能を示し、この一般化ギャップは、敵の予算の大きさによって増加することを証明した。 最後に、高速な対向訓練や、追加データによる事前学習モデルの微調整など、いくつかのシナリオにおける対向オーバーフィッティングを緩和するソリューションについて検討する。 その結果,トレーニングデータを用いることでモデルのロバスト性は向上することが示された。

関連論文リスト

• Vulnerability-Aware Instance Reweighting For Adversarial Training [4.874780144224057]
  対人訓練(AT)は、対人攻撃に対する深層学習分類器の堅牢性を大幅に向上させることが知られている。 ATはトレーニングセットの異なるクラスに不均一な影響を及ぼし、本質的に分類するのが難しいクラスに対応する例を不公平に傷つけます。 トレーニングセットにおける個々の例のロバストな損失に不等重みを割り当てる様々な再重み付けスキームが提案されている。 そこで本研究では,各自然事例の脆弱性と,敵攻撃時に発生する敵に対する情報損失について考察する。
  論文  参考訳（メタデータ） (2023-07-14T05:31:32Z)
• A3T: Accuracy Aware Adversarial Training [22.42867682734154]
  誤分類標本から敵検体を生成する現在の慣行に関連する過度適合の原因の1つを同定する。 提案手法は,最先端の対人訓練手法に匹敵する堅牢性を保ちながら,より優れた一般化を実現する。
  論文  参考訳（メタデータ） (2022-11-29T15:56:43Z)
• The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training [72.39526433794707]
  敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。 本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。 本手法は,最先端のロバスト性および自然な精度を実現する。
  論文  参考訳（メタデータ） (2022-11-01T15:24:26Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Enhancing Adversarial Robustness for Deep Metric Learning [77.75152218980605]
  深層学習モデルの対角的堅牢性を改善する必要がある。 過度にハードな例によるモデル崩壊を避けるため、既存の守備隊はmin-max対逆訓練を中止した。 本研究では, 対人訓練において, 一定の硬度までトレーニング三重奏を効率よく摂動させる硬度操作を提案する。
  論文  参考訳（メタデータ） (2022-03-02T22:27:44Z)
• Calibrated Adversarial Training [8.608288231153304]
  本稿では, 対人訓練における意味摂動の悪影響を低減させる手法であるCalibrated Adversarial Trainingを提案する。 この方法は, 新たな校正ロバスト誤差に基づいて, 摂動に対する画素レベルの適応を生成する。
  論文  参考訳（メタデータ） (2021-10-01T19:17:28Z)
• Multi-stage Optimization based Adversarial Training [16.295921205749934]
  本稿では,多段階最適化に基づく適応学習(MOAT)手法を提案する。 同様の訓練オーバーヘッドの下で、提案したMOATは、単段階または多段階の対向訓練方法よりも堅牢性が高い。
  論文  参考訳（メタデータ） (2021-06-26T07:59:52Z)
• Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
  単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
  論文  参考訳（メタデータ） (2020-04-18T14:14:00Z)
• Regularizers for Single-step Adversarial Training [49.65499307547198]
  本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
  論文  参考訳（メタデータ） (2020-02-03T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。