論文の概要: Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization

• arxiv url: http://arxiv.org/abs/2212.04985v1
• Date: Fri, 9 Dec 2022 16:55:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 15:59:25.410932
• Title: Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization
• Title（参考訳）: 入力ロスランドスケープ解析と正規化によるロバストオーバーフィッティングの理解と圧縮
• Authors: Lin Li, Michael Spratling
• Abstract要約: アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
• 参考スコア（独自算出の注目度）: 5.1024659285813785
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Adversarial training is widely used to improve the robustness of deep neural networks to adversarial attack. However, adversarial training is prone to overfitting, and the cause is far from clear. This work sheds light on the mechanisms underlying overfitting through analyzing the loss landscape w.r.t. the input. We find that robust overfitting results from standard training, specifically the minimization of the clean loss, and can be mitigated by regularization of the loss gradients. Moreover, we find that robust overfitting turns severer during adversarial training partially because the gradient regularization effect of adversarial training becomes weaker due to the increase in the loss landscapes curvature. To improve robust generalization, we propose a new regularizer to smooth the loss landscape by penalizing the weighted logits variation along the adversarial direction. Our method significantly mitigates robust overfitting and achieves the highest robustness and efficiency compared to similar previous methods. Code is available at https://github.com/TreeLLi/Combating-RO-AdvLC.
• Abstract（参考訳）: adversarial trainingは、ディープニューラルネットワークの敵攻撃に対する堅牢性を改善するために広く使われている。 しかし、敵対的な訓練は過度に当てはまる傾向にあり、原因は明確ではない。 この研究は、入力のロスランドスケープを解析することで、オーバーフィッティングの基盤となるメカニズムに光を当てる。 従来のトレーニング,特にクリーン損失の最小化による頑健なオーバーフィッティング結果が,損失勾配の正規化によって緩和できることがわかった。 また, 逆行訓練の勾配正規化効果が, ロスランドスケープ曲率の増加により弱まることから, 逆行訓練中に強固な過剰フィッティングが重くなることが判明した。 強靭な一般化を改善するために,対向方向に沿った重み付きロジット変動をペナル化することにより,損失景観を円滑にする新たな正規化器を提案する。 提案手法は, 従来の手法と比較して, 強靭性および効率性を著しく低減する。 コードはhttps://github.com/TreeLLi/Combating-RO-AdvLCで入手できる。

関連論文リスト

• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing [5.1024659285813785]
  敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。 本稿では,新たな対人訓練手法を提案する。 本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-03-24T15:41:40Z)
• Boundary Adversarial Examples Against Adversarial Overfitting [4.391102490444538]
  敵の訓練アプローチは頑強なオーバーフィッティングに苦しむが、モデルがあまりに長く敵の訓練を受けると、頑健な精度が低下する。 強靭なオーバーフィッティングの効果を軽減するため, 早期停止, 時間的アンサンブル, 体重記憶などの緩和手法が提案されている。 本稿では,これらの緩和アプローチが相互に補完的であるかどうかを,対向訓練性能の向上のために検討する。
  論文  参考訳（メタデータ） (2022-11-25T13:16:53Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them [57.957466608543676]
  機械学習モデルの損失景観に及ぼす対人訓練の影響を解析する。 曲率の増加と散乱勾配の増大により, 対向損失景観は最適化にはあまり好ましくないことを示す。
  論文  参考訳（メタデータ） (2020-06-15T13:50:23Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。