論文の概要: EMASAM: a Computationally Efficient Sharpness-Aware Minimization via EMA-Guided Perturbations
- arxiv url: http://arxiv.org/abs/2608.15105v1
- Date: Sat, 15 Aug 2026 08:10:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.199256
- Title: EMASAM: a Computationally Efficient Sharpness-Aware Minimization via EMA-Guided Perturbations
- Title（参考訳）: EMASAM:EMA誘導摂動による計算効率の良いシャープネス認識最小化
- Abstract要約: 一般化を促進するためのトレーニング戦略として,SAM (Sharpness-Aware Minimization) が提案された。
SAMは、摂動ステップ中に余分な勾配を必要とするコアアルゴリズムのために、計算コストが2倍になる。
本稿では,SAMの計算効率の良い変種であるExponential moving Average Sharpness-Aware Minimization (EMASAM)を紹介する。
- 参考スコア（独自算出の注目度）: 1.7073691799016324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent progress in optimization research has highlighted the sharpness of the loss landscape as a key factor in narrowing the generalization gap. Motivated by this insight, Sharpness-Aware Minimization (SAM) was proposed as a training strategy that enhances generalization. Despite the promising performance, SAM suffers from its twice computational cost due to its core algorithm requiring an extra gradient computation during the perturbation step. To overcome this limitation, we introduce Exponential Moving Average Sharpness-Aware Minimization (EMASAM), a computationally efficient variant of SAM. EMASAM does not require the loss gradient in the perturbation step. Instead, EMASAM defines the perturbation direction based on the discrepancy between the main model and the EMA shadow model. This perturbation travels away from the stable average position toward the less stable area, acting as a softer yet cheaper alternative to SAM's worst-case scenario perturbation. Moreover, since EMASAM's perturbation does not rely on noisy mini-batch gradients, it mitigates the gradient-induced instability inherent in SAM. Hence, EMASAM eliminates the need for an extra backpropagation while also preserving the generalization ability of the SAM-style training. Several experiments have been performed and confirm the efficiency and robustness of our method.
- Abstract（参考訳）: 最適化研究の最近の進歩は、一般化ギャップを狭める重要な要因として、損失景観のシャープさを強調している。
この知見に触発されて、一般化を促進する訓練戦略として、SAM(Sharpness-Aware Minimization)が提案された。
期待できる性能にもかかわらず、SAMはコアアルゴリズムが摂動ステップ中に余分な勾配計算を必要とするため、その2倍の計算コストに悩まされている。
この制限を克服するために、SAMの計算効率の良い変種であるExponential moving Average Sharpness-Aware Minimization (EMASAM)を導入する。
EMASAMは摂動ステップにおける損失勾配を必要としない。
代わりに、EMASAMはメインモデルとEMAシャドウモデルとの差に基づいて摂動方向を定義する。
この摂動は安定な平均位置から低い安定な領域へと移動し、SAMの最悪のシナリオ摂動の代替として、より柔らかく、より安価に作用する。
さらに、EMASAMの摂動はノイズの多いミニバッチ勾配に依存しないので、SAMに固有の勾配誘起不安定性を緩和する。
したがって、EMASAMは、SAMスタイルのトレーニングの一般化能力を保ちながら、余分なバックプロパゲーションの必要性を排除している。
提案手法の有効性とロバスト性を確認するためにいくつかの実験を行った。
関連論文リスト
- Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization [7.865097630039961]
Loss-Equated SAM (LE-SAM) は Sharpness-Aware Minimization (SAM) の一般化であり、勾配ノルムが支配する学習信号を除去し、曲率が支配する項へ最適化をシフトする。
Le-SAMはSAMとその変種を一貫して上回り、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-05-11T08:34:36Z) - ZO-SAM: Zero-Order Sharpness-Aware Minimization for Efficient Sparse Training [22.67717083974045]
スパースニューラルネットワークは、パラメータ数と計算オーバーヘッドを劇的に削減することで、制約を著しく緩和する。
既存のスパーストレーニング手法は、しばしばカオスでノイズの多い勾配信号を経験し、収束と一般化性能を著しく妨げている。
我々は,ゼロオーダーのシャープネス・アウェア最小化(ZO-SAM)を提案し,これはSAMアプローチ内でゼロオーダーの最適化を戦略的に統合する新しい最適化フレームワークである。
論文 参考訳（メタデータ） (2026-03-13T16:11:41Z) - Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning [52.63618112418439]
シャープネス対応計算(SAM)は、細調整を含む機械学習タスクの一般化性能を改善するために、平らなロスランドスケープを持つミニマを求める。
本稿では,層にスパース手法を導入することにより,このボトルネックを解消するアプローチSL-SAMを提案する。
論文 参考訳（メタデータ） (2026-02-10T04:05:43Z) - Focal-SAM: Focal Sharpness-Aware Minimization for Long-Tailed Classification [113.6840565194525]
実世界のデータセットは長い尾の分布に従うことが多く、尾のクラスへの一般化は困難である。
近年,ロスランドスケープを平坦化して一般化を改善するため,シャープネス・アウェア最小化法 (SAM) の長尾変種を利用した手法が提案されている。
クラスごとに異なる罰則を割り当てるFocal-SAMを導入し、余分なバックプロパゲーションを伴わずにきめ細かい制御を実現する。
論文 参考訳（メタデータ） (2025-05-03T03:01:28Z) - Friendly Sharpness-Aware Minimization [62.57515991835801]
シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。
対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。
逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
論文 参考訳（メタデータ） (2024-03-19T01:39:33Z) - Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy [12.050160495730381]
SAM ( sharpness-aware generalization) は性能向上に驚くべき効果があることから注目されている。
本稿では, 安定SAM (SSAM) と呼ばれる単純な再正規化戦略を提案する。
我々の戦略は実装が容易で、SAMとその変種と統合するのに十分な柔軟性があり、ほとんど計算コストがかからない。
論文 参考訳（メタデータ） (2024-01-14T10:53:36Z) - Systematic Investigation of Sparse Perturbed Sharpness-Aware
Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。
SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。
本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文 参考訳（メタデータ） (2023-06-30T09:33:41Z) - Improved Deep Neural Network Generalization Using m-Sharpness-Aware
Minimization [14.40189851070842]
シャープネス・アウェア最小化(SAM)は、基礎となる損失関数を修正し、フラットなミニマへ導出する方法を導出する。
近年の研究ではmSAMがSAMよりも精度が高いことが示唆されている。
本稿では,様々なタスクやデータセットにおけるmSAMの包括的評価について述べる。
論文 参考訳（メタデータ） (2022-12-07T00:37:55Z) - Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation
Approach [132.37966970098645]
人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。
本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。
さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
論文 参考訳（メタデータ） (2022-10-11T06:30:10Z) - Efficient Sharpness-aware Minimization for Improved Training of Neural
Networks [146.2011175973769]
本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。
Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。
我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
論文 参考訳（メタデータ） (2021-10-07T02:20:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。