論文の概要: On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training

• arxiv url: http://arxiv.org/abs/2112.07324v1
• Date: Tue, 14 Dec 2021 12:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 17:02:51.909911
• Title: On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training
• Title（参考訳）: ハード・アドバーサリー・インスタンスがオーバーフィッティングに及ぼす影響について
• Authors: Chen Liu, Zhichao Huang, Mathieu Salzmann, Tong Zhang, Sabine S\"usstrunk
• Abstract要約: 敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 トレーニングインスタンスの観点から,この現象を考察する。 逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
• 参考スコア（独自算出の注目度）: 72.95029777394186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training is a popular method to robustify models against adversarial attacks. However, it exhibits much more severe overfitting than training on clean inputs. In this work, we investigate this phenomenon from the perspective of training instances, i.e., training input-target pairs. Based on a quantitative metric measuring instances' difficulty, we analyze the model's behavior on training instances of different difficulty levels. This lets us show that the decay in generalization performance of adversarial training is a result of the model's attempt to fit hard adversarial instances. We theoretically verify our observations for both linear and general nonlinear models, proving that models trained on hard instances have worse generalization performance than ones trained on easy instances. Furthermore, we prove that the difference in the generalization gap between models trained by instances of different difficulty levels increases with the size of the adversarial budget. Finally, we conduct case studies on methods mitigating adversarial overfitting in several scenarios. Our analysis shows that methods successfully mitigating adversarial overfitting all avoid fitting hard adversarial instances, while ones fitting hard adversarial instances do not achieve true robustness.
• Abstract（参考訳）: 敵意トレーニング(adversarial training)は、敵意攻撃に対してモデルを堅牢化するための一般的な方法である。 しかし、クリーンな入力のトレーニングよりもはるかに厳しいオーバーフィットを示す。 本研究では,この現象を訓練例,すなわち入出力対の訓練の観点から検討する。 インスタンスの難易度を定量的に測定し,難易度レベルの異なるトレーニングインスタンスにおけるモデルの振る舞いを分析した。 これにより, 対向学習の一般化性能の低下は, 強敵インスタンスに適合するモデルの試みの結果であることを示す。 線形および一般非線形モデルの観測を理論的に検証し、ハードインスタンスでトレーニングされたモデルは、簡単なインスタンスでトレーニングされたモデルよりもより悪い一般化性能を有することを示した。 さらに,難易度レベルの異なるインスタンスによって訓練されたモデル間の一般化ギャップの差が,逆予算の大きさとともに増加することを証明した。 最後に,いくつかのシナリオにおいて,敵のオーバーフィッティングを緩和する手法のケーススタディを行う。 分析の結果, 敵の過剰適合を緩和する手法は, 強敵のインスタンスへの適合を回避できるが, 強敵のインスタンスへの適合は真の堅牢性は得られないことがわかった。

関連論文リスト

• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• A3T: Accuracy Aware Adversarial Training [22.42867682734154]
  誤分類標本から敵検体を生成する現在の慣行に関連する過度適合の原因の1つを同定する。 提案手法は,最先端の対人訓練手法に匹敵する堅牢性を保ちながら,より優れた一般化を実現する。
  論文  参考訳（メタデータ） (2022-11-29T15:56:43Z)
• Impact of Adversarial Training on Robustness and Generalizability of Language Models [33.790145748360686]
  この研究は、言語モデルにおける敵対的訓練に対する異なるアプローチの深い比較を提供する。 以上の結果から,データ拡張の事前トレーニングや,入力空間の摂動によるトレーニングにより,より堅牢性を達成できることが示唆された。 学習モデルのニューロンの言語的相関解析により、改良された一般化は「より専門化された」ニューロンによるものであることが明らかになった。
  論文  参考訳（メタデータ） (2022-11-10T12:36:50Z)
• The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training [72.39526433794707]
  敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。 本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。 本手法は,最先端のロバスト性および自然な精度を実現する。
  論文  参考訳（メタデータ） (2022-11-01T15:24:26Z)
• Calibrated Adversarial Training [8.608288231153304]
  本稿では, 対人訓練における意味摂動の悪影響を低減させる手法であるCalibrated Adversarial Trainingを提案する。 この方法は, 新たな校正ロバスト誤差に基づいて, 摂動に対する画素レベルの適応を生成する。
  論文  参考訳（メタデータ） (2021-10-01T19:17:28Z)
• Imbalanced Adversarial Training with Reweighting [33.51820466479575]
  学習データセットが不均衡である場合、逆向きに訓練されたモデルは、表現不足のクラスでは、はるかにパフォーマンスが悪くなる可能性があることを示す。 従来の再重み付け戦略は、敵の訓練の不均衡問題に対処する効果を失う可能性がある。 本研究では,不均衡シナリオ下での対人訓練を容易にするために,SRAT(Separable Reweighted Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2021-07-28T20:51:36Z)
• Multi-stage Optimization based Adversarial Training [16.295921205749934]
  本稿では,多段階最適化に基づく適応学習(MOAT)手法を提案する。 同様の訓練オーバーヘッドの下で、提案したMOATは、単段階または多段階の対向訓練方法よりも堅牢性が高い。
  論文  参考訳（メタデータ） (2021-06-26T07:59:52Z)
• Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
  単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
  論文  参考訳（メタデータ） (2020-04-18T14:14:00Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)
• Regularizers for Single-step Adversarial Training [49.65499307547198]
  本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
  論文  参考訳（メタデータ） (2020-02-03T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。