論文の概要: Gradient-Energy Guided Block-Wise Perturbations for Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2607.18306v1
• Date: Fri, 17 Jul 2026 06:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.175222
• Title: Gradient-Energy Guided Block-Wise Perturbations for Sharpness-Aware Minimization
• Title（参考訳）: シャープネス認識最小化のための勾配エネルギー誘導ブロック幅摂動
• Abstract要約: GEAR-SAMは、軽量な曲率関連感度信号として2乗ブロック勾配の指数移動平均(EMA)を維持している。 画像分類、移動学習、ノイズラベル学習、分割研究の実験は、アーキテクチャやタスク間の一般化と堅牢性の向上を実証している。
• 参考スコア（独自算出の注目度）: 11.183574804029165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sharpness-Aware Minimization (SAM) improves generalization by minimizing the worst-case loss in a local parameter neighborhood. Standard SAM implicitly allocates its global perturbation budget across parameter blocks according to instantaneous minibatch gradient norms. Such an allocation can be noisy and may not reflect the sensitivity that blocks accumulate throughout training. We propose Gradient-Energy Adaptive Radius SAM (GEAR-SAM), which maintains an exponential moving average (EMA) of squared block gradients as a lightweight, curvature-related sensitivity signal and allocates the fixed SAM budget through a closed-form constrained optimization. GEAR-SAM preserves the global SAM radius, requires no Hessian-vector products or explicit Fisher estimation, and adds only scalar state beyond SAM. Experiments on image classification, transfer learning, noisy-label learning, and partition studies demonstrate improved generalization and robustness across architectures and tasks. More broadly, GEAR-SAM provides a dynamic view of sharpness-aware optimization: a fixed perturbation budget should be redistributed as the sensitivity of functional network blocks evolves during training.
• Abstract（参考訳）: シャープネス・アウェアの最小化(SAM)は、局所パラメータ地区における最悪の損失を最小限に抑えて一般化を改善する。 Standard SAMは、瞬間的なミニバッチ勾配規範に従って、パラメータブロック間でグローバルな摂動予算を暗黙的に割り当てる。 このようなアロケーションはノイズがあり、トレーニングを通じてブロックが蓄積する感度を反映しない可能性がある。 本稿では,2乗ブロック勾配の指数移動平均(EMA)を軽量かつ曲率関係の感度信号として維持し,閉形式制約付き最適化により固定SAM予算を割り当てるグラディエント・エネルギー適応型ラディウスSAM(GEAR-SAM)を提案する。 GEAR-SAMは、グローバルSAM半径を保存し、ヘッセンベクトル生成物や明示的なフィッシャー推定を必要とせず、SAMを超えるスカラー状態のみを追加する。 画像分類、移動学習、ノイズラベル学習、分割研究の実験は、アーキテクチャやタスク間の一般化と堅牢性の向上を実証している。 より広範に、GEAR-SAMはシャープネスを意識した最適化の動的なビューを提供する: トレーニング中に機能的ネットワークブロックの感度が向上するにつれて、固定摂動予算を再配布する必要がある。

関連論文リスト

• EMASAM: a Computationally Efficient Sharpness-Aware Minimization via EMA-Guided Perturbations [1.7073691799016324]
  一般化を促進するためのトレーニング戦略として,SAM (Sharpness-Aware Minimization) が提案された。 SAMは、摂動ステップ中に余分な勾配を必要とするコアアルゴリズムのために、計算コストが2倍になる。 本稿では,SAMの計算効率の良い変種であるExponential moving Average Sharpness-Aware Minimization (EMASAM)を紹介する。
  論文  参考訳（メタデータ） (2026-08-15T08:10:31Z)
• Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization [7.865097630039961]
  Loss-Equated SAM (LE-SAM) は Sharpness-Aware Minimization (SAM) の一般化であり、勾配ノルムが支配する学習信号を除去し、曲率が支配する項へ最適化をシフトする。 Le-SAMはSAMとその変種を一貫して上回り、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-11T08:34:36Z)
• ZO-SAM: Zero-Order Sharpness-Aware Minimization for Efficient Sparse Training [22.67717083974045]
  スパースニューラルネットワークは、パラメータ数と計算オーバーヘッドを劇的に削減することで、制約を著しく緩和する。 既存のスパーストレーニング手法は、しばしばカオスでノイズの多い勾配信号を経験し、収束と一般化性能を著しく妨げている。 我々は,ゼロオーダーのシャープネス・アウェア最小化(ZO-SAM)を提案し,これはSAMアプローチ内でゼロオーダーの最適化を戦略的に統合する新しい最適化フレームワークである。
  論文  参考訳（メタデータ） (2026-03-13T16:11:41Z)
• Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning [52.63618112418439]
  シャープネス対応計算(SAM)は、細調整を含む機械学習タスクの一般化性能を改善するために、平らなロスランドスケープを持つミニマを求める。 本稿では,層にスパース手法を導入することにより,このボトルネックを解消するアプローチSL-SAMを提案する。
  論文  参考訳（メタデータ） (2026-02-10T04:05:43Z)
• LightSAM: Parameter-Agnostic Sharpness-Aware Minimization [92.17866492331524]
  シャープネス・アウェアの最小化(SAM)は、重量摂動を通して平らなミニマランドスケープを探索することにより、機械学習モデルの能力を高める。 SAMはさらなるハイパーパラメータ、摂動半径を導入し、SAMの感度を誘導する。 本稿では,SAMの摂動半径と学習速度を適応的に設定するアルゴリズムLightSAMを提案する。
  論文  参考訳（メタデータ） (2025-05-30T09:28:38Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Momentum-SAM: Sharpness Aware Minimization without Computational Overhead [1.5129569747339653]
  本稿では,蓄積された運動量ベクトルの方向にパラメータを摂動させ,計算オーバーヘッドやメモリ要求を伴わずに低シャープ性を実現するMomentum-SAMを提案する。 我々は、MSAMを詳細に評価し、NAG、SAM、MSAMの分離可能なメカニズムの学習最適化と一般化に関する知見を明らかにする。
  論文  参考訳（メタデータ） (2024-01-22T15:19:18Z)
• Enhancing Sharpness-Aware Optimization Through Variance Suppression [48.908966673827734]
  この研究は損失関数の幾何学を取り入れ、そこでは「平坦なミニマ」の近傍が一般化能力を高める。 地区内の敵対的な摂動パラメータによる最大損失を最小化することで「平坦な谷」を求める。 損失関数のシャープさを考慮に入れることが重要であるが、そのような「過剰にフレンドリーな敵」は極端に一般化のレベルを縮めることができる。
  論文  参考訳（メタデータ） (2023-09-27T13:18:23Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。