論文の概要: Overfitting or Underfitting? Understand Robustness Drop in Adversarial Training

• arxiv url: http://arxiv.org/abs/2010.08034v1
• Date: Thu, 15 Oct 2020 21:43:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 02:40:11.890375
• Title: Overfitting or Underfitting? Understand Robustness Drop in Adversarial Training
• Title（参考訳）: 過失か過失か? 対人訓練におけるロバストネス低下の理解
• Authors: Zichao Li and Liyuan Liu and Chengyu Dong and Jingbo Shang
• Abstract要約: 本稿では、摂動生成をパラメータ化し、それらを徐々に強化する適応的対向訓練フレームワークAPARTを提案する。 APARTはPGD-10と同等かそれ以上の堅牢性を提供し、計算コストの約1/4しか提供していない。
• 参考スコア（独自算出の注目度）: 34.83228408320053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our goal is to understand why the robustness drops after conducting adversarial training for too long. Although this phenomenon is commonly explained as overfitting, our analysis suggest that its primary cause is perturbation underfitting. We observe that after training for too long, FGSM-generated perturbations deteriorate into random noise. Intuitively, since no parameter updates are made to strengthen the perturbation generator, once this process collapses, it could be trapped in such local optima. Also, sophisticating this process could mostly avoid the robustness drop, which supports that this phenomenon is caused by underfitting instead of overfitting. In the light of our analyses, we propose APART, an adaptive adversarial training framework, which parameterizes perturbation generation and progressively strengthens them. Shielding perturbations from underfitting unleashes the potential of our framework. In our experiments, APART provides comparable or even better robustness than PGD-10, with only about 1/4 of its computational cost.
• Abstract（参考訳）: 私たちの目標は、敵のトレーニングを長く続けると、なぜロバスト性が低下するのかを理解することです。 この現象はオーバーフィッティングとして一般的に説明されるが,本分析では摂動不適合が主な原因であることが示唆されている。 FGSMによる摂動は, 長時間のトレーニングの後, ランダムノイズに劣化することが観察された。 直感的には、摂動発生器を強化するためのパラメータ更新は行われないので、このプロセスが崩壊すると、そのような局所的な最適化に閉じ込められる可能性がある。 また、このプロセスの高度化は、この現象が過剰なフィッティングではなく過フィッティングによって引き起こされるというロバスト性低下をほとんど避ける可能性がある。 そこで本研究では,摂動発生をパラメータ化し,それらを徐々に強化する適応的対向訓練フレームワークAPARTを提案する。 弱体化から摂動を守ることは、我々のフレームワークの可能性を解き放つ。 我々の実験では、APARTはPGD-10と同等かそれ以上の堅牢性を提供し、計算コストの約1/4しか提供していない。

関連論文リスト

• Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
  TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。 この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-10T07:32:40Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning? [58.942118128503104]
  因果的混乱(英: Causal confusion)とは、エージェントがデータ中の不完全な急激な相関を反映するポリシーを学ぶ現象である。 この現象は特にロボット工学などの領域で顕著である。 本稿では,オフライン強化学習における因果的混乱について検討する。
  論文  参考訳（メタデータ） (2023-12-28T17:54:56Z)
• Balance, Imbalance, and Rebalance: Understanding Robust Overfitting from a Minimax Game Perspective [80.51463286812314]
  敵対的訓練(AT)はおそらく、頑健な特徴を抽出するための最先端のアルゴリズムである。 ATは、特に学習率(LR)が崩壊した後、深刻な強固な過適合問題に悩まされる。 我々は, LR崩壊が, より強い記憶能力でトレーナーに力を与えることにより, ミニマックスゲーム間のバランスを損なうことを示す。
  論文  参考訳（メタデータ） (2023-10-30T09:00:11Z)
• Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization [5.1024659285813785]
  アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2022-12-09T16:55:30Z)
• Understanding Catastrophic Overfitting in Single-step Adversarial Training [9.560980936110234]
  カタストロフィックオーバーフィッティング (catastrophic overfitting) とは, 急激な急激な急激な急激な勾配降下に対する頑健な精度が急激な0%にまで低下する現象である。 本稿では,破滅的なオーバーフィッティングを防止するだけでなく,一段階の逆行訓練による多段階の逆行攻撃を防ぐことが難しいという信念を覆す,簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T06:13:35Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。