論文の概要: Leveraging Extragradient for Effective Sharpness-Aware Minimization in Deep Learning

• arxiv url: http://arxiv.org/abs/2607.06151v1
• Date: Tue, 07 Jul 2026 11:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.501394
• Title: Leveraging Extragradient for Effective Sharpness-Aware Minimization in Deep Learning
• Title（参考訳）: ディープラーニングにおける効果的なシャープネス認識最小化のためのエクストラグラディエントの活用
• Authors: Yao Fu, Chunxia Zhang, Junmin Liu, Yihang Jin, Haishan Ye, Yuanao Yang,
• Abstract要約: 一般化は、従来のデータセットがシャープなミニマに収束し、目に見えないデータに過度に適合し、パフォーマンスを低下させるディープラーニングにおいて、依然として重要な課題である。 本稿では,エクストラグラディエント・インスパイアされたシャープネス・アウェアの最小化(EISAM)を提案する。
• 参考スコア（独自算出の注目度）: 31.961129763228175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization remains a pivotal challenge in deep learning, where traditional optimizers like Stochastic Gradient Descent (SGD) often converge to sharp minima, leading to overfitting and reduced performance on unseen data. Building on Sharpness-Aware Minimization (SAM), for seeking flat minima associated with improved generalization, we propose the Extragradient-Inspired Sharpness-Aware Minimization (EISAM), a novel optimizer that enhances generalization via the extragradient technique. EISAM uses a two-step update process: a prediction step investigating the geometry of the loss landscape and a perturbation step that refines updates with a base optimizer. This approach achieves better generalization performance than SAM. Crucially, EISAM reduces sensitivity to the perturbation radius, enhancing robustness, and simplifying the tuning across diverse settings. Extensive experiments on benchmark datasets demonstrate that EISAM consistently outperforms SGD, Adaptive Moment Estimation (Adam), and SAM in test accuracy and training efficiency across various architectures. Theoretical analysis further confirms that EISAM tightens the generalization bound by steering parameters toward flatter minima with reduced curvature. Accompanied by a thorough hyperparameter analysis, EISAM offers practical tuning guidance, establishing it as a robust, scalable, and broadly applicable optimization solution that advances both the theory and practice in deep learning.
• Abstract（参考訳）: 一般化はディープラーニングにおける重要な課題であり、SGD(Stochastic Gradient Descent)のような従来のオプティマイザは、しばしばシャープなミニマに収束する。 シャープネス・アウェア・ミニマライゼーション (SAM) を基盤として, 改良された一般化に伴う平坦な最小値を求めるために, エクストラグラディエント・インスパイア・シャープネス・アウェア・ミニマライゼーション (EISAM) を提案する。 EISAMは2段階の更新プロセスを使用し、損失ランドスケープの幾何学を調査する予測ステップと、ベースオプティマイザで更新を洗練する摂動ステップである。 このアプローチはSAMよりも優れた一般化性能を実現する。 重要なことは、EISAMは摂動半径に対する感度を低下させ、頑丈さを高め、様々な設定でチューニングを簡素化する。 ベンチマークデータセットに関する大規模な実験により、EISAMはSGD、アダプティブモーメント推定(Adam)、SAMを様々なアーキテクチャでテスト精度とトレーニング効率で一貫して上回っていることが示された。 理論的解析により、EISAMは曲率を下げた平らなミニマに向けてのステアリングパラメータによる一般化を締め付けることが確認される。 徹底的なハイパーパラメータ分析と合わせて、EISAMは実践的なチューニングガイダンスを提供し、それを堅牢でスケーラブルで広く適用可能な最適化ソリューションとして確立し、ディープラーニングにおける理論と実践の両方を前進させる。

関連論文リスト

• Adaptive Sharpness-Aware Minimization with a Polyak-type Step size: A Theory-Grounded Scheduler [16.39606116102731]
  Sharpness-Aware Minimization (SAM)は、強力で広く採用されている機械学習モデルとして自らを確立している。 SAMとその変種は、ほとんどのトレーニングアルゴリズムと同様に、学習率の選択に敏感である。 本研究では、SAMスタイルの更新に合わせたPolyakスケジューラを導出する。 提案したPolyakスケジューラはSAMベースラインを慎重に調整するよりもパフォーマンスが優れていることを示す実験である。
  論文  参考訳（メタデータ） (2026-06-01T07:42:01Z)
• LightSAM: Parameter-Agnostic Sharpness-Aware Minimization [92.17866492331524]
  シャープネス・アウェアの最小化(SAM)は、重量摂動を通して平らなミニマランドスケープを探索することにより、機械学習モデルの能力を高める。 SAMはさらなるハイパーパラメータ、摂動半径を導入し、SAMの感度を誘導する。 本稿では,SAMの摂動半径と学習速度を適応的に設定するアルゴリズムLightSAMを提案する。
  論文  参考訳（メタデータ） (2025-05-30T09:28:38Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy [12.050160495730381]
  SAM ( sharpness-aware generalization) は性能向上に驚くべき効果があることから注目されている。 本稿では, 安定SAM (SSAM) と呼ばれる単純な再正規化戦略を提案する。 我々の戦略は実装が容易で、SAMとその変種と統合するのに十分な柔軟性があり、ほとんど計算コストがかからない。
  論文  参考訳（メタデータ） (2024-01-14T10:53:36Z)
• Critical Influence of Overparameterization on Sharpness-aware Minimization [12.321517302762558]
  シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークトレーニングにおける一般化を改善する効果において、かなりの注目を集めている。 この研究は、SAMの有効性に重要な影響を示す経験的および理論的知見の両方を提示する。
  論文  参考訳（メタデータ） (2023-11-29T11:19:50Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。