論文の概要: On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training

• arxiv url: http://arxiv.org/abs/2112.07324v2
• Date: Tue, 17 Dec 2024 08:17:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:54:49.206228
• Title: On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training
• Title（参考訳）: 逆行訓練におけるハード・アドベラル・インスタンスがオーバーフィッティングに及ぼす影響について
• Authors: Chen Liu, Zhichao Huang, Mathieu Salzmann, Tong Zhang, Sabine Süsstrunk,
• Abstract要約: 敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 本研究では,この現象をトレーニングインスタンスの観点から検討する。 逆行訓練における一般化性能の低下は、ハード・逆行例に適合した結果であることを示す。
• 参考スコア（独自算出の注目度）: 70.82725772926949
• License:
• Abstract: Adversarial training is a popular method to robustify models against adversarial attacks. However, it exhibits much more severe overfitting than training on clean inputs. In this work, we investigate this phenomenon from the perspective of training instances, i.e., training input-target pairs. Based on a quantitative metric measuring the relative difficulty of an instance in the training set, we analyze the model's behavior on training instances of different difficulty levels. This lets us demonstrate that the decay in generalization performance of adversarial training is a result of fitting hard adversarial instances. We theoretically verify our observations for both linear and general nonlinear models, proving that models trained on hard instances have worse generalization performance than ones trained on easy instances, and that this generalization gap increases with the size of the adversarial budget. Finally, we investigate solutions to mitigate adversarial overfitting in several scenarios, including fast adversarial training and fine-tuning a pretrained model with additional data. Our results demonstrate that using training data adaptively improves the model's robustness.
• Abstract（参考訳）: 敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 しかし、クリーンな入力のトレーニングよりもはるかに厳しいオーバーフィットを示す。 本研究では,この現象を,入力-ターゲットペアのトレーニングインスタンスの観点から検討する。 トレーニングセット内のインスタンスの相対的難易度を測定する定量的な測定値に基づいて、異なる難易度のトレーニングインスタンス上でのモデルの挙動を分析する。 これにより、対向トレーニングの一般化性能の減衰は、ハード対向インスタンスに適合した結果であることを示す。 線形および一般非線形モデルの観測を理論的に検証し、ハードインスタンスで訓練されたモデルは、簡単なインスタンスで訓練されたモデルよりもより悪い一般化性能を示し、この一般化ギャップは、敵の予算の大きさによって増加することを証明した。 最後に、高速な対向訓練や、追加データによる事前学習モデルの微調整など、いくつかのシナリオにおける対向オーバーフィッティングを緩和するソリューションについて検討する。 その結果,トレーニングデータを用いることでモデルのロバスト性は向上することが示された。

関連論文リスト

• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• A3T: Accuracy Aware Adversarial Training [22.42867682734154]
  誤分類標本から敵検体を生成する現在の慣行に関連する過度適合の原因の1つを同定する。 提案手法は,最先端の対人訓練手法に匹敵する堅牢性を保ちながら,より優れた一般化を実現する。
  論文  参考訳（メタデータ） (2022-11-29T15:56:43Z)
• Impact of Adversarial Training on Robustness and Generalizability of Language Models [33.790145748360686]
  この研究は、言語モデルにおける敵対的訓練に対する異なるアプローチの深い比較を提供する。 以上の結果から,データ拡張の事前トレーニングや,入力空間の摂動によるトレーニングにより,より堅牢性を達成できることが示唆された。 学習モデルのニューロンの言語的相関解析により、改良された一般化は「より専門化された」ニューロンによるものであることが明らかになった。
  論文  参考訳（メタデータ） (2022-11-10T12:36:50Z)
• The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training [72.39526433794707]
  敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。 本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。 本手法は,最先端のロバスト性および自然な精度を実現する。
  論文  参考訳（メタデータ） (2022-11-01T15:24:26Z)
• Calibrated Adversarial Training [8.608288231153304]
  本稿では, 対人訓練における意味摂動の悪影響を低減させる手法であるCalibrated Adversarial Trainingを提案する。 この方法は, 新たな校正ロバスト誤差に基づいて, 摂動に対する画素レベルの適応を生成する。
  論文  参考訳（メタデータ） (2021-10-01T19:17:28Z)
• Imbalanced Adversarial Training with Reweighting [33.51820466479575]
  学習データセットが不均衡である場合、逆向きに訓練されたモデルは、表現不足のクラスでは、はるかにパフォーマンスが悪くなる可能性があることを示す。 従来の再重み付け戦略は、敵の訓練の不均衡問題に対処する効果を失う可能性がある。 本研究では,不均衡シナリオ下での対人訓練を容易にするために,SRAT(Separable Reweighted Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2021-07-28T20:51:36Z)
• Multi-stage Optimization based Adversarial Training [16.295921205749934]
  本稿では,多段階最適化に基づく適応学習(MOAT)手法を提案する。 同様の訓練オーバーヘッドの下で、提案したMOATは、単段階または多段階の対向訓練方法よりも堅牢性が高い。
  論文  参考訳（メタデータ） (2021-06-26T07:59:52Z)
• Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
  単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
  論文  参考訳（メタデータ） (2020-04-18T14:14:00Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)
• Regularizers for Single-step Adversarial Training [49.65499307547198]
  本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
  論文  参考訳（メタデータ） (2020-02-03T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。