論文の概要: Explicit Eigenvalue Regularization Improves Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2501.12666v1
• Date: Wed, 22 Jan 2025 06:03:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:13.128194
• Title: Explicit Eigenvalue Regularization Improves Sharpness-Aware Minimization
• Title（参考訳）: 明示的固有値正規化はシャープネスを考慮した最小化を改善する
• Authors: Haocheng Luo, Tuan Truong, Tung Pham, Mehrtash Harandi, Dinh Phung, Trung Le,
• Abstract要約: シャープネス・アウェアの最小化(SAM)は、様々なタスクにおける一般化を改善する効果において大きな注目を集めている。 我々はヘッセンの最大固有値を用いてSAMの訓練力学を鋭さの尺度として分析する。 本稿では,トップヘッセン固有値の正規化を目的としたアルゴリズムであるEigen-SAMを紹介する。
• 参考スコア（独自算出の注目度）: 37.515131384121204
• License:
• Abstract: Sharpness-Aware Minimization (SAM) has attracted significant attention for its effectiveness in improving generalization across various tasks. However, its underlying principles remain poorly understood. In this work, we analyze SAM's training dynamics using the maximum eigenvalue of the Hessian as a measure of sharpness, and propose a third-order stochastic differential equation (SDE), which reveals that the dynamics are driven by a complex mixture of second- and third-order terms. We show that alignment between the perturbation vector and the top eigenvector is crucial for SAM's effectiveness in regularizing sharpness, but find that this alignment is often inadequate in practice, limiting SAM's efficiency. Building on these insights, we introduce Eigen-SAM, an algorithm that explicitly aims to regularize the top Hessian eigenvalue by aligning the perturbation vector with the leading eigenvector. We validate the effectiveness of our theory and the practical advantages of our proposed approach through comprehensive experiments. Code is available at https://github.com/RitianLuo/EigenSAM.
• Abstract（参考訳）: シャープネス・アウェアの最小化(SAM)は、様々なタスクにおける一般化を改善する効果において大きな注目を集めている。 しかし、その根底にある原則はいまだに理解されていない。 本研究では,ヘッセンの最大固有値を用いてSAMの学習力学を解析し,三階確率微分方程式(SDE)を提案する。 摂動ベクトルとトップ固有ベクトルのアライメントは、シャープネスの正則化におけるSAMの有効性に不可欠であるが、このアライメントは実際は不十分であり、SAMの効率を制限している。 これらの知見に基づいて,摂動ベクトルを先頭の固有ベクトルに整列させることにより,トップヘッセン固有値の正規化を明示的に目的とするアルゴリズムであるEigen-SAMを導入する。 我々は,本理論の有効性と提案手法の実用的メリットを総合実験により検証した。 コードはhttps://github.com/RitianLuo/EigenSAMで入手できる。

関連論文リスト

• Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems [26.377807940655305]
  この研究は均衡性という概念を導入し、2つの変数の平方ノルムの差として定義される。 我々は,スケール不変問題に適した資源効率のSAM変種である平衡性認識正規化(BAR)を開発した。
  論文  参考訳（メタデータ） (2024-10-18T18:19:18Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy [12.050160495730381]
  SAM ( sharpness-aware generalization) は性能向上に驚くべき効果があることから注目されている。 本稿では, 安定SAM (SSAM) と呼ばれる単純な再正規化戦略を提案する。 我々の戦略は実装が容易で、SAMとその変種と統合するのに十分な柔軟性があり、ほとんど計算コストがかからない。
  論文  参考訳（メタデータ） (2024-01-14T10:53:36Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• The Crucial Role of Normalization in Sharpness-Aware Minimization [44.00155917998616]
  Sharpness-Aware Minimization (SAM)は勾配に基づくニューラルネットワークであり、予測性能を大幅に向上させる。 正規化の2つの性質がSAMを超実用性の選択に対して堅牢にすると主張する。
  論文  参考訳（メタデータ） (2023-05-24T16:09:41Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)
• SAM operates far from home: eigenvalue regularization as a dynamical phenomenon [15.332235979022036]
  シャープネス認識最小化(SAM)アルゴリズムは、ロス・ヘッセンの大きな固有値を制御することが示されている。 SAMは学習軌跡全体を通して固有値の強い正規化を提供することを示す。 本理論は,学習速度とSAM半径パラメータの関数として最大固有値を予測する。
  論文  参考訳（メタデータ） (2023-02-17T04:51:20Z)
• How Does Sharpness-Aware Minimization Minimize Sharpness? [29.90109733192208]
  シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークの一般化を改善するための非常に効果的な正規化手法である。 本稿では、SAMが基礎となるメカニズムを規則化し、明確化するという正確なシャープネスの概念を厳格に説明する。
  論文  参考訳（メタデータ） (2022-11-10T17:56:38Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。