論文の概要: CR-SAM: Curvature Regularized Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2312.13555v1
• Date: Thu, 21 Dec 2023 03:46:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 16:04:41.678912
• Title: CR-SAM: Curvature Regularized Sharpness-Aware Minimization
• Title（参考訳）: CR-SAM: 曲率正規化シャープネスの最小化
• Authors: Tao Wu, Tie Luo, and Donald C. Wunsch
• Abstract要約: Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。 特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
• 参考スコア（独自算出の注目度）: 8.248964912483912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The capacity to generalize to future unseen data stands as one of the utmost crucial attributes of deep neural networks. Sharpness-Aware Minimization (SAM) aims to enhance the generalizability by minimizing worst-case loss using one-step gradient ascent as an approximation. However, as training progresses, the non-linearity of the loss landscape increases, rendering one-step gradient ascent less effective. On the other hand, multi-step gradient ascent will incur higher training cost. In this paper, we introduce a normalized Hessian trace to accurately measure the curvature of loss landscape on {\em both} training and test sets. In particular, to counter excessive non-linearity of loss landscape, we propose Curvature Regularized SAM (CR-SAM), integrating the normalized Hessian trace as a SAM regularizer. Additionally, we present an efficient way to compute the trace via finite differences with parallelism. Our theoretical analysis based on PAC-Bayes bounds establishes the regularizer's efficacy in reducing generalization error. Empirical evaluation on CIFAR and ImageNet datasets shows that CR-SAM consistently enhances classification performance for ResNet and Vision Transformer (ViT) models across various datasets. Our code is available at https://github.com/TrustAIoT/CR-SAM.
• Abstract（参考訳）: 将来の目に見えないデータに一般化する能力は、ディープニューラルネットワークの最も重要な特性の1つである。 Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 しかし、トレーニングが進むにつれて、損失ランドスケープの非線形性は増大し、ワンステップ勾配の上昇は効果が低下する。 一方で、マルチステップ勾配上昇は、より高いトレーニングコストを発生させる。 本稿では,正規化ヘッセントレースを導入し,トレーニングおよびテストセット上での損失景観の曲率を正確に測定する。 特に、損失景観の過度な非線形性に対抗するために、正規化ヘッセントレースをSAM正則化器として統合した曲率正規化SAM(CR-SAM)を提案する。 さらに,並列性と有限差分によるトレース計算を効率的に行う方法を提案する。 pac-bayes境界に基づく理論解析は、一般化誤差を減らすための正規化器の有効性を確立する。 CIFARとImageNetデータセットの実証評価では、CR-SAMはさまざまなデータセットにわたるResNetおよびViTモデルの分類性能を一貫して向上している。 私たちのコードはhttps://github.com/TrustAIoT/CR-SAMで公開されています。

関連論文リスト

• Efficient Sharpness-Aware Minimization for Molecular Graph Transformer Models [42.59948316941217]
  シャープネスを意識した最小化(SAM)は、訓練軌道と一般化劣化からシャープな局所最小化を効果的に排除できるため、コンピュータビジョンにおいて注目を集めている。 本稿では、SAMのトレーニングコストを削減し、グラフトランスフォーマーモデルの一般化性能を向上させる、GraphSAMという新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-19T01:03:23Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
  内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。 LookSAMはSAMと同じような精度を実現し、非常に高速である。 Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
  論文  参考訳（メタデータ） (2022-03-05T11:53:37Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。