論文の概要: On the Implicit Flatness Bias of Sharpness-Aware Minimization: A Linear Stability Analysis with Quantitative Hyperparameter Bounds

• arxiv url: http://arxiv.org/abs/2608.03197v1
• Date: Tue, 04 Aug 2026 06:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.061791
• Title: On the Implicit Flatness Bias of Sharpness-Aware Minimization: A Linear Stability Analysis with Quantitative Hyperparameter Bounds
• Title（参考訳）: シャープネス・アウェア最小化の急激な平坦度バイアスについて:定量的ハイパーパラメータ境界を用いた線形安定解析
• Abstract要約: シャープネス・アウェアの最小化(SAM)は、局所的対向摂動に対してロバストなパラメータを求めることにより一般化を改善する。 特に摂動半径$$は通常、独立したチューニングパラメータとして扱われる。 線形安定性により補間最小値付近のミニバッチSAMを解析する。
• 参考スコア（独自算出の注目度）: 7.33659299625996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sharpness-Aware Minimization (SAM) improves generalization by seeking parameters whose loss is robust to local adversarial perturbations, but the quantitative mechanism underlying its implicit bias toward flat minima remains unclear. In particular, the perturbation radius $ρ$ is typically treated as an isolated tuning parameter, despite defining the neighborhood in which SAM measures sharpness. We analyze mini-batch SAM near an interpolating minimum through linear stability. Under local linearization and gradient-noise alignment assumptions, we prove that every linearly stable minimum satisfies $λ_{\max}\leq\sqrt[3]{bΓ/(2ρη^2)}$, where $λ_{\max}$ is the largest Hessian eigenvalue, $b$ is the batch size, $η$ is the learning rate, and $Γ$ bounds the gradient norm. The bound quantitatively characterizes SAM's implicit flatness bias: holding the other quantities fixed, a smaller batch size, a larger learning rate, or a larger radius restricts linearly stable SAM to flatter minima. It also exposes a necessary trade-off: $ρ$ should be large enough to promote flatness, yet remain local enough to preserve the approximation and stable training. We validate this prediction in a controlled study of 900 models on CIFAR-100 with ResNet-18 and VGG-19, where increasing $ρ$ is consistently associated with a smaller largest Hessian eigenvalue across batch-size and learning-rate settings. Finally, we instantiate the analysis in Taylor-Locality Controlled SAM (TLC-SAM), which adjusts $ρ$ using the observed Taylor-approximation error and further reduces the top Hessian eigenvalue relative to fixed-radius SAM. Our results provide quantitative hyperparameter bounds and a stability--locality perspective for analyzing and designing SAM variants.
• Abstract（参考訳）: Sharpness-Aware Minimization (SAM) は、局所的対向摂動に対して損失が堅牢なパラメータを求めることによって一般化を改善するが、その平坦なミニマに対する暗黙の偏見の定量的メカニズムは未だ不明である。 特に摂動半径$ρ$は通常、SAMが鋭さを測る近傍を定義するにもかかわらず、孤立したチューニングパラメータとして扱われる。 線形安定性により補間最小値付近のミニバッチSAMを解析する。 局所線型化と勾配-雑音のアライメントの仮定の下で、すべての線型安定な最小値が$λ_{\max}\leq\sqrt[3]{b>/(2ρη^2)}$を満たすことを証明し、そこで、$λ_{\max}$は最大のヘッセン固有値であり、$b$はバッチサイズであり、$η$は学習率であり、$は勾配ノルムを束縛する。 この境界はSAMの暗黙の平坦性バイアスを特徴づける: 他の量の固定、より小さいバッチサイズ、より大きい学習率、より大きい半径は、線形に安定なSAMを平らなミニマに制限する。 ρ$は平坦性を促進するのに十分な大きさでなければならないが、近似と安定したトレーニングを維持するのに十分な局所性を維持する必要がある。 ResNet-18 と VGG-19 による CIFAR-100 上の900 モデルに対する制御された研究において,この予測を検証した。 最後に,Taylor-Locality Controlled SAM (TLC-SAM) の解析をインスタンス化し,観測されたTaylor-approximation誤差を用いて$ρ$を調整し,固定半径SAMに対するヘッセン固有値をさらに低減する。 本結果は,SAM変種を解析・設計するための定量的なハイパーパラメータ境界と安定性-局所性視点を提供する。

関連論文リスト

• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• Zeroth-Order Optimization at the Edge of Stability [59.54782674222443]
  ゼロ階数(ZO)系の(平均二乗の)線形安定性を捉える明示的なステップサイズ条件を提供する。 以上の結果から,ZO法に特有の暗黙的な正則化効果が示され,大きなステップサイズが主にヘッセントレースを正則化することがわかった。
  論文  参考訳（メタデータ） (2026-04-16T06:23:18Z)
• X-SAM: Boosting Sharpness-Aware Minimization with Dominant-Eigenvector Gradient Correction [7.8091155908891965]
  スペクトルおよび幾何学的観点からシャープネス認識最小化(SAM)について検討する。 本稿では,トップ固有ベクトルに沿った分解によって勾配を補正する明示的な固有ベクトル整列SAM(X-SAM)を提案する。 我々は、X-SAMの収束と優れた一般化を証明し、理論的および実用的両方の利点を実証する広範な実験的な評価を行った。
  論文  参考訳（メタデータ） (2026-01-15T10:19:08Z)
• Tilted Sharpness-Aware Minimization [24.689230137012174]
  シャープネス・アウェアの最小化(SAM)は、超無限ハミルトン一般化アルゴリズムの一般化性能を改善するために実証されている。 TSAMはTSAMよりもスムーズであり,TSAMを解くよりも最適化し易いことを示す。
  論文  参考訳（メタデータ） (2024-10-30T02:49:48Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Practical Sharpness-Aware Minimization Cannot Converge All the Way to Optima [14.141453107129403]
  Sharpness-Aware Minimization (SAM) は、$y_t = x_t + rho fracbla f(x_t)lt blablax_t での摂動に基づくステップを取る。
  論文  参考訳（メタデータ） (2023-06-16T13:47:04Z)
• Exact Mean Square Linear Stability Analysis for SGD [28.65663421598186]
  勾配降下(SGD)の線形安定性に必要かつ十分なステップサイズを明示的条件として提示する。 SGDの安定性閾値は、全バッチ勾配ステップw.p.$-p$と1サンプル勾配ステップw.p.$p$の混合プロセスと等価であることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:29:23Z)
• Fisher SAM: Information Geometry and Sharpness Aware Minimisation [81.72160507751028]
  最近のシャープネス認識最小化(SAM)は平坦なミニマを見つけることが知られている。 SAMは、現在のイテレート周辺の小さな地区内での最大損失値を報告することにより、損失関数を基本的に変更する。 近傍を定義する際に, モデルパラメータ空間の情報幾何学, すなわち, SAMのユークリッド球をフィッシャー情報によって誘導される楕円形に置き換える。
  論文  参考訳（メタデータ） (2022-06-10T07:42:51Z)
• Surrogate Gap Minimization Improves Sharpness-Aware Training [52.58252223573646]
  Surrogate textbfGap Guided textbfSharpness-textbfAware textbfMinimization (GSAM)は、Sharpness-Aware Minimization (SAM)に対する新しい改善であり、計算オーバーヘッドが無視できる。 GSAMは小さい損失(ステップ1)と低いシャープネス(ステップ2)の両方の領域を求め、高い一般化能力を持つモデルを生み出す。
  論文  参考訳（メタデータ） (2022-03-15T16:57:59Z)
• Robust Online Control with Model Misspecification [96.23493624553998]
  本研究では,未知の非線形力学系のモデル不特定性を考慮したオンライン制御について検討する。 本研究は, 線形近似からの偏差を許容できる程度に測定できるロバスト性に着目した。
  論文  参考訳（メタデータ） (2021-07-16T07:04:35Z)
• Finite-time Identification of Stable Linear Systems: Optimality of the Least-Squares Estimator [79.3239137440876]
  線形時間不変系に対する正規最小方形推定器(OLS)の推定誤差の新しい有限時間解析法を提案する。 我々は、OLS推定器が$(varepsilon,delta)$-PACとなるのに十分な観測サンプルの数を特徴付け、少なくとも1-delta$の確率で$varepsilon$未満の推定誤差を生じる。
  論文  参考訳（メタデータ） (2020-03-17T20:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。