論文の概要: Curvature-Scaled Sharpness-Aware Minimization: Convergence Beyond Smoothness

• arxiv url: http://arxiv.org/abs/2610.29192v1
• Date: Wed, 21 Oct 2026 04:26:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.20556
• Title: Curvature-Scaled Sharpness-Aware Minimization: Convergence Beyond Smoothness
• Title（参考訳）: 曲率スケールのシャープネス認識最小化:滑らかさを超える収束性
• Abstract要約: シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークのトレーニングに広く用いられている方法として確立されている。 SAMの摂動が元の勾配からどのように離れているのかを定量化するための解析方法として、一般化された条件が提案されている。 この歪みはSAMの近距離対応局となり,非正規化変種 (USAM) の大規模化が期待できることを示す。 この条件により, 曲率スケールSAMCS-SAMを提案する。
• 参考スコア（独自算出の注目度）: 16.39606116102731
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-Aware Minimization (SAM) has established itself as a widely used method for training deep neural networks. Despite its popularity, existing convergence guarantees for SAM-type methods require smoothness, a restrictive assumption. Generalized smoothness conditions have recently been proposed in the analysis of gradient methods but remain underexplored for SAM. To analyze the effect of SAM's perturbation under generalized smoothness, we use relative gradient distortion to quantify how the sharpness-aware direction departs from the original gradient. Under $(L_0,L_1)$-smoothness, we show that this distortion can become unbounded near stationarity for SAM and at large gradients for its unnormalized variant (USAM), with examples where SAM cycles and USAM diverges. We then establish a necessary condition for uniform distortion control among perturbations along the gradient whose nonnegative multipliers depend only on its norm. Motivated by this condition, we propose Curvature-Scaled SAM (CS-SAM), which scales both the perturbation and the descent step by suitable curvature upper bounds, and prove that it uniformly bounds the distortion. Under both $(L_0,L_1)$- and $(H_0,H_1)$-smoothness, we establish deterministic $\mathcal{O}(1/T)$ rates for the best squared gradient norm on nonconvex objectives, last-iterate $\mathcal{O}(1/T)$ rates for the function gap on convex objectives with a minimizer, and linear convergence under the Polyak-Lojasiewicz condition. With zero perturbation, our guarantees recover the rates for gradient descent with $(L_0,L_1)$- or $(H_0,H_1)$-based step-sizes. Minibatch experiments on computer vision tasks demonstrate competitive performance for both variants, with the $(H_0,H_1)$ variant achieving the highest mean best-test accuracy in all four settings against tuned SAM and USAM with constant and cosine annealing schedules.
• Abstract（参考訳）: シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークのトレーニングに広く用いられている方法として確立されている。 その人気にもかかわらず、SAM型メソッドの既存の収束保証は滑らかさ、すなわち制限的な仮定を必要とする。 一般化された滑らかさ条件は近年、勾配法の解析において提案されているが、SAMでは未探索のままである。 一般化された滑らかさ下でのSAMの摂動の影響を解析するために、相対勾配歪みを用いて、シャープネス認識方向が元の勾配からどのように逸脱するかを定量化する。 $(L_0,L_1)$-smoothness の下では、SAM の非正規化変種 (USAM) と、SAM サイクルとUSAM が分岐するような大きな勾配において、この歪みが SAM の定常近くで非有界となることを示す。 次に、非負乗算器がそのノルムにのみ依存する勾配に沿った摂動の均一な歪み制御に必要な条件を確立する。 この条件で得られた曲率スケールSAM (CS-SAM) は、摂動と降下ステップの両方を適切な曲率上界で拡大し、歪みを均一に束縛することを示す。 L_0,L_1)$-および$(H_0,H_1)$-smoothnessの下では、非凸対象上の最良の2乗勾配ノルムに対する決定論的 $\mathcal{O}(1/T)$ と、最小値を持つ凸対象上の関数ギャップに対する最後の定位 $\mathcal{O}(1/T)$ と、Polyak-Lojasiewicz 条件の下で線型収束を確立する。 摂動がゼロであれば、勾配降下率を$(L_0,L_1)$-または$(H_0,H_1)$ベースのステップサイズで回復する。 コンピュータビジョンタスクにおけるミニバッチ実験は、(H_0,H_1)$の変種が、一定かつ余剰なアニーリングスケジュールを持つSAMとUSAMの4つの設定において、最も高い平均テスト精度を達成することにより、両方の変種に対する競合性能を示す。

関連論文リスト

• Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds [61.41272490044518]
  REINFORCEの分散還元バージョンは、$O(-3)$サンプルの複雑さを改善して$$-stationary点を求める。 本稿では, 従来の重みの分散を仮定することなく, 同一レートを達成できる, 防御重要度サンプリングに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-10-02T11:43:52Z)
• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• On the Implicit Flatness Bias of Sharpness-Aware Minimization: A Linear Stability Analysis with Quantitative Hyperparameter Bounds [7.33659299625996]
  シャープネス・アウェアの最小化(SAM)は、局所的対向摂動に対してロバストなパラメータを求めることにより一般化を改善する。 特に摂動半径$$は通常、独立したチューニングパラメータとして扱われる。 線形安定性により補間最小値付近のミニバッチSAMを解析する。
  論文  参考訳（メタデータ） (2026-08-04T06:37:44Z)
• Fast and Large-Scale Unbalanced Optimal Transport via its Semi-Dual and Adaptive Gradient Methods [35.76482964927589]
  エントロピーUOTの半二重定式化を解析し、適応勾配法に適合することを示す。 SGD法はこの局所曲率に適応し、$mathcalO(n/varepsilon T)$となる。 完全バッチ離散設定に対しては、勾配ステップサイズのみに依存する局所的滑らか度にほぼ密な上限を導出する。
  論文  参考訳（メタデータ） (2026-02-11T09:57:30Z)
• Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning [52.63618112418439]
  シャープネス対応計算(SAM)は、細調整を含む機械学習タスクの一般化性能を改善するために、平らなロスランドスケープを持つミニマを求める。 本稿では,層にスパース手法を導入することにより,このボトルネックを解消するアプローチSL-SAMを提案する。
  論文  参考訳（メタデータ） (2026-02-10T04:05:43Z)
• Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
  本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。 本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
  論文  参考訳（メタデータ） (2025-06-02T17:34:29Z)
• μP$^2$: Effective Sharpness Aware Minimization Requires Layerwise Perturbation Scaling [49.25546155981064]
  シャープネス認識最小化(SAM)を用いたニューラルネットワークの無限幅限界について検討する。 この結果から, SAMのダイナミクスは, 広範なニューラルネットワークにおいて, 最後の層のみにSAMを適用することで効果的に低下することが判明した。 対照的に、階層的なスケーリングを伴う安定したパラメータ化を識別し、それを $textitMaximal Update and Perturbation $$mu$P$2$ と呼びます。
  論文  参考訳（メタデータ） (2024-10-31T16:32:04Z)
• Practical Sharpness-Aware Minimization Cannot Converge All the Way to Optima [14.141453107129403]
  Sharpness-Aware Minimization (SAM) は、$y_t = x_t + rho fracbla f(x_t)lt blablax_t での摂動に基づくステップを取る。
  論文  参考訳（メタデータ） (2023-06-16T13:47:04Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。