論文の概要: LightSAM: Parameter-Agnostic Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2505.24399v1
• Date: Fri, 30 May 2025 09:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.878008
• Title: LightSAM: Parameter-Agnostic Sharpness-Aware Minimization
• Title（参考訳）: LightSAM:パラメータ非依存のシャープネス認識最小化
• Authors: Yifei Cheng, Li Shen, Hao Sun, Nan Yin, Xiaochun Cao, Enhong Chen,
• Abstract要約: シャープネス・アウェアの最小化(SAM)は、重量摂動を通して平らなミニマランドスケープを探索することにより、機械学習モデルの能力を高める。 SAMはさらなるハイパーパラメータ、摂動半径を導入し、SAMの感度を誘導する。 本稿では,SAMの摂動半径と学習速度を適応的に設定するアルゴリズムLightSAMを提案する。
• 参考スコア（独自算出の注目度）: 92.17866492331524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-Aware Minimization (SAM) optimizer enhances the generalization ability of the machine learning model by exploring the flat minima landscape through weight perturbations. Despite its empirical success, SAM introduces an additional hyper-parameter, the perturbation radius, which causes the sensitivity of SAM to it. Moreover, it has been proved that the perturbation radius and learning rate of SAM are constrained by problem-dependent parameters to guarantee convergence. These limitations indicate the requirement of parameter-tuning in practical applications. In this paper, we propose the algorithm LightSAM which sets the perturbation radius and learning rate of SAM adaptively, thus extending the application scope of SAM. LightSAM employs three popular adaptive optimizers, including AdaGrad-Norm, AdaGrad and Adam, to replace the SGD optimizer for weight perturbation and model updating, reducing sensitivity to parameters. Theoretical results show that under weak assumptions, LightSAM could converge ideally with any choices of perturbation radius and learning rate, thus achieving parameter-agnostic. We conduct preliminary experiments on several deep learning tasks, which together with the theoretical findings validate the the effectiveness of LightSAM.
• Abstract（参考訳）: シャープネス・アウェアの最小化(SAM)最適化は、重量摂動を通して平坦なミニマランドスケープを探索することにより、機械学習モデルの一般化能力を高める。 SAMは経験的な成功にもかかわらず、摂動半径という追加のハイパーパラメータを導入し、SAMの感度を誘導する。 さらに、SAMの摂動半径と学習速度は、収束を保証するために問題依存パラメータによって制約されていることが証明された。 これらの制限は、実用的な応用におけるパラメータチューニングの要件を示している。 本稿では,SAMの摂動半径と学習速度を適応的に設定し,SAMの適用範囲を拡大するアルゴリズムLightSAMを提案する。 LightSAMはAdaGrad-Norm、AdaGrad、Adamの3つの一般的な適応型オプティマイザを採用しており、重量摂動とモデルの更新のためにSGDオプティマイザを置き換え、パラメータの感度を下げている。 理論的な結果は、弱い仮定の下では、LightSAMは摂動半径と学習速度の任意の選択と理想的に収束し、パラメータに依存しないことを示す。 我々は,いくつかのディープラーニングタスクの予備実験を行い,理論的な結果とともにLightSAMの有効性を検証した。

関連論文リスト

• Monge SAM: Robust Reparameterization-Invariant Sharpness-Aware Minimization Based on Loss Geometry [2.854482269849925]
  シャープネスを意識した最小化(SAM)は、逆方向の摂動の勾配に応じてパラメータを更新することにより、平坦な領域を効率的に見つける。 我々はSAMの再パラメータ化不変バージョンであるMonge SAM (M-SAM)を提案する。 理論的にも経験的にも、マルチモーダルな表現アライメントタスクにおいて、この振る舞いを実証する。
  論文  参考訳（メタデータ） (2025-02-12T14:40:19Z)
• μP$^2$: Effective Sharpness Aware Minimization Requires Layerwise Perturbation Scaling [49.25546155981064]
  シャープネス認識最小化(SAM)を用いたニューラルネットワークの無限幅限界について検討する。 この結果から, SAMのダイナミクスは, 広範なニューラルネットワークにおいて, 最後の層のみにSAMを適用することで効果的に低下することが判明した。 対照的に、階層的なスケーリングを伴う安定したパラメータ化を識別し、それを $textitMaximal Update and Perturbation $$mu$P$2$ と呼びます。
  論文  参考訳（メタデータ） (2024-10-31T16:32:04Z)
• Enhancing Sharpness-Aware Minimization by Learning Perturbation Radius [6.78775404181577]
  そこで我々は,PerTurbation radiuS という二段階最適化フレームワークを提案し,シャープネスを意識した最小化アルゴリズムの摂動半径を学習する。 計算機ビジョンと自然言語処理における様々なアーキテクチャとベンチマークデータセットの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-15T15:40:57Z)
• Critical Influence of Overparameterization on Sharpness-aware Minimization [12.321517302762558]
  本研究は,シャープネス認識最小化(SAM)がオーバーパラメータ化に影響を及ぼすことを示す。 この効果は, ラベルノイズやスパシティなど, 実用的な環境下では特に顕著である。 また、パラメータ化の超越がSAMがSGDと比較してより均一なヘッセンモーメントでミニマを達成するのにどう役立つかについての洞察も提供する。
  論文  参考訳（メタデータ） (2023-11-29T11:19:50Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。