論文の概要: Fast Adversarial Training against Sparse Attacks Requires Loss Smoothing

• arxiv url: http://arxiv.org/abs/2502.21041v1
• Date: Fri, 28 Feb 2025 13:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:43:23.310649
• Title: Fast Adversarial Training against Sparse Attacks Requires Loss Smoothing
• Title（参考訳）: スパース攻撃に対する高速対人訓練はスムーズなスムース化を必要としている
• Authors: Xuyang Zhong, Yixiao Huang, Chen Liu,
• Abstract要約: 高速対人訓練に1ドル(約1,400円)のl_infty$摂動に1ドル(約1,300円)の攻撃を応用することの課題について検討した。 対人訓練のCOは1ステップの攻撃による最適以下の摂動位置によって引き起こされる。 本稿では,ソフトラベルとトレードオフ損失関数を組み込んだFast-LS-$l_$を提案する。
• 参考スコア（独自算出の注目度）: 2.6939688467517384
• License:
• Abstract: This paper studies fast adversarial training against sparse adversarial perturbations bounded by $l_0$ norm. We demonstrate the challenges of employing $1$-step attacks on $l_0$ bounded perturbations for fast adversarial training, including degraded performance and the occurrence of catastrophic overfitting (CO). We highlight that CO in $l_0$ adversarial training is caused by sub-optimal perturbation locations of $1$-step attack. Theoretical and empirical analyses reveal that the loss landscape of $l_0$ adversarial training is more craggy compared to its $l_\infty$, $l_2$ and $l_1$ counterparts. Moreover, we corroborate that the craggy loss landscape can aggravate CO. To address these issues, we propose Fast-LS-$l_0$ that incorporates soft labels and the trade-off loss function to smooth the adversarial loss landscape. Extensive experiments demonstrate our method can overcome the challenge of catastrophic overfitting, achieve state-of-the-art performance, and narrow down the performance gap between $1$-step and multi-step adversarial training against sparse attacks.
• Abstract（参考訳）: 本稿では, スパース対向摂動に対する高速対向トレーニングを, $l_0$ノルムで有界に行う。 高速対人訓練に1ドル(約1,400円)の対人摂動に1ドル(約1,400円)の攻撃を施すことの課題を実証する。 対人訓練に要するCOは, 準最適摂動位置が1ドル(約1,400円)の攻撃によって引き起こされる。 理論的および実証的な分析によると、$l_0$の逆行訓練の損失状況は、$l_\infty$, $l_2$, $l_1$の損失状況に比べてより不安定である。 さらに, 重力損失景観がCOを増大させる可能性が示唆された。 これらの問題に対処するため,ソフトラベルとトレードオフ損失関数を組み込んだFast-LS-$l_0$を提案する。 大規模な実験により, 破滅的オーバーフィッティングの課題を克服し, 最先端の性能を達成し, スパースアタックに対する1ドルとマルチステップの対戦訓練の間の性能ギャップを狭めることができた。

関連論文リスト

• Improving Fast Adversarial Training Paradigm: An Example Taxonomy Perspective [61.38753850236804]
  高速対人訓練 (FAT) は, 効率的な訓練を行うために提案され, 熱い研究課題となっている。 FATは破滅的なオーバーフィッティングに悩まされ、多段階の逆行訓練と比較してパフォーマンスが低下する。 本稿では, FATにおける内的最適化と外的最適化のバランスが不均衡であることから, 破滅的なオーバーフィッティングが原因であることが確認された FAT の分類例を示す。
  論文  参考訳（メタデータ） (2024-07-22T03:56:27Z)
• Asymptotic Behavior of Adversarial Training Estimator under $\ell_\infty$-Perturbation [6.164223149261535]
  機械学習や統計モデルにおいて、敵対的攻撃に対抗するために、敵対的訓練が提案されている。 本稿では,$ell_infty$-perturbationの下での対人訓練に焦点を当てた。 数値実験により, $ell_infty$-perturbation の下での対人訓練の空間的回復能力を示す。
  論文  参考訳（メタデータ） (2024-01-27T01:16:33Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization [5.1024659285813785]
  アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2022-12-09T16:55:30Z)
• Adaptive Smoothness-weighted Adversarial Training for Multiple Perturbations with Its Stability Analysis [39.90487314421744]
  対人訓練(Adrial Training:AT)は、敵の事例に対して最も効果的な方法の1つとして実証されている。 異なる摂動型に対する対向ロバスト性を一般化するために、多重摂動(ATMP)のアドリナルトレーニングを提案する。 安定性に基づく過剰リスク境界を開発し、複数の摂動に対する適応重み付き対向トレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-02T15:42:34Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• On the effectiveness of adversarial training against common corruptions [29.596070201105277]
  敵の訓練は、共通の腐敗に対する強力なベースラインとなり得ることを実証する。 提案手法は,$ell_p$ の学習ベースラインを改良するだけでなく,データ拡張法で累積的に向上することを示す。
  論文  参考訳（メタデータ） (2021-03-03T11:04:09Z)
• Understanding Catastrophic Overfitting in Single-step Adversarial Training [9.560980936110234]
  カタストロフィックオーバーフィッティング (catastrophic overfitting) とは, 急激な急激な急激な急激な勾配降下に対する頑健な精度が急激な0%にまで低下する現象である。 本稿では,破滅的なオーバーフィッティングを防止するだけでなく,一段階の逆行訓練による多段階の逆行攻撃を防ぐことが難しいという信念を覆す,簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T06:13:35Z)
• On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them [57.957466608543676]
  機械学習モデルの損失景観に及ぼす対人訓練の影響を解析する。 曲率の増加と散乱勾配の増大により, 対向損失景観は最適化にはあまり好ましくないことを示す。
  論文  参考訳（メタデータ） (2020-06-15T13:50:23Z)
• Towards Understanding Fast Adversarial Training [91.8060431517248]
  高速対人訓練の振る舞いを理解するために実験を行う。 その成功の鍵は、過度な適合から弱い攻撃への回復能力である。
  論文  参考訳（メタデータ） (2020-06-04T18:19:43Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。