論文の概要: Bilateral Sharpness-Aware Minimization for Flatter Minima
- arxiv url: http://arxiv.org/abs/2409.13173v1
- Date: Fri, 20 Sep 2024 03:01:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 11:41:13.304327
- Title: Bilateral Sharpness-Aware Minimization for Flatter Minima
- Title(参考訳): フラッターミニマにおけるバイラテラルシャープネスの最小化
- Authors: Jiaxin Deng, Junbiao Pang, Baochang Zhang, Qingming Huang,
- Abstract要約: Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する
本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。
MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
- 参考スコア(独自算出の注目度): 61.17349662062522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sharpness-Aware Minimization (SAM) enhances generalization by reducing a Max-Sharpness (MaxS). Despite the practical success, we empirically found that the MAxS behind SAM's generalization enhancements face the "Flatness Indicator Problem" (FIP), where SAM only considers the flatness in the direction of gradient ascent, resulting in a next minimization region that is not sufficiently flat. A better Flatness Indicator (FI) would bring a better generalization of neural networks. Because SAM is a greedy search method in nature. In this paper, we propose to utilize the difference between the training loss and the minimum loss over the neighborhood surrounding the current weight, which we denote as Min-Sharpness (MinS). By merging MaxS and MinS, we created a better FI that indicates a flatter direction during the optimization. Specially, we combine this FI with SAM into the proposed Bilateral SAM (BSAM) which finds a more flatter minimum than that of SAM. The theoretical analysis proves that BSAM converges to local minima. Extensive experiments demonstrate that BSAM offers superior generalization performance and robustness compared to vanilla SAM across various tasks, i.e., classification, transfer learning, human pose estimation, and network quantization. Code is publicly available at: https://github.com/ajiaaa/BSAM.
- Abstract(参考訳): SAM (Sharpness-Aware Minimization) は、Max-Sharpness (MaxS) を小さくすることで一般化を促進する。
実践的な成功にもかかわらず,SAM の一般化強化を支える MAxS が「Flatness Indicator Problem (FIP)」に直面することを実証的に見出した。
より良い平坦度指標(FI)は、ニューラルネットワークのより良い一般化をもたらすだろう。
なぜならSAMは自然界における欲求的な探索法であるからである。
本稿では, トレーニング損失と現在の重量を囲む周辺地域の最小損失との差を利用して, ミンシャープネス(Min-Sharpness, MinS)と表現する。
MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。
具体的には、このFIをSAMと組み合わせて提案したバイラテラルSAM (BSAM) と組み合わせ、SAMのそれよりもより平坦な最小値を求める。
この理論解析は、BSAMが局所ミニマに収束することを証明している。
大規模な実験により、BSAMは、分類、移動学習、ポーズ推定、ネットワーク量子化といった様々なタスクにおいて、バニラSAMよりも優れた一般化性能とロバスト性を提供することが示された。
コードは、https://github.com/ajiaaa/BSAM.comで公開されている。
関連論文リスト
- Reweighting Local Mimina with Tilted SAM [24.689230137012174]
シャープネス・アウェアの最小化(SAM)は、平坦な最小値を求めることにより、無限大の一般化性能を向上させることが実証されている。
本研究では,より平坦で損失の少ない局所解に対して,効率的に高い優先度を付与するTSAM(TSAM)を提案する。
論文 参考訳(メタデータ) (2024-10-30T02:49:48Z) - Sharpness-Aware Minimization Efficiently Selects Flatter Minima Late in Training [47.25594539120258]
Sharpness-Aware Minimization (SAM) はトレーニングの遅滞時に効率よくフラットなミニマを選択する。
SAMの訓練の終わりに応用されたいくつかのエポックでさえ、完全なSAMトレーニングとほぼ同じ一般化と解のシャープネスをもたらす。
我々は、最終解の物性を形作る上で、最終相で選択した最適化法がより重要であると推測する。
論文 参考訳(メタデータ) (2024-10-14T10:56:42Z) - Improving SAM Requires Rethinking its Optimization Formulation [57.601718870423454]
Sharpness-Aware Minimization (SAM) は、もともとネットワークの重みと有界摂動がそれぞれ同じ差分損失を最小/最大化しようとするゼロサムゲームとして定式化されている。
我々は SAM を 0-1 の損失を用いて再定式化すべきであると主張する。連続緩和として、最小化(最大化)プレイヤーが 0-1 の損失に対して上界(より下界)をサロゲートする単純なアプローチに従う。これは BiSAM と呼ばれる双レベル最適化問題として SAM の新たな定式化につながる。
論文 参考訳(メタデータ) (2024-07-17T20:22:33Z) - Friendly Sharpness-Aware Minimization [62.57515991835801]
シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。
対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。
逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
論文 参考訳(メタデータ) (2024-03-19T01:39:33Z) - Systematic Investigation of Sparse Perturbed Sharpness-Aware
Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。
SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。
本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文 参考訳(メタデータ) (2023-06-30T09:33:41Z) - Sharpness-Aware Minimization Revisited: Weighted Sharpness as a
Regularization Term [4.719514928428503]
正規化項としてシャープネスを組み込んだWSAMという,より一般的な手法を提案する。
PACとBayes-PACの併用による一般化を実証する。
その結果、WSAMは、バニラやSAMとその変種と比較して、より改良された一般化を達成するか、少なくとも高い競争力を持つことを示した。
論文 参考訳(メタデータ) (2023-05-25T08:00:34Z) - mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization [20.560184120992094]
シャープネス・アウェアの最小化手法は、フラットな最小化に向けて勾配降下法を操る基本損失関数を変更する。
我々は最近開発されたフラットネス解析のためのよく研究された一般的なフレームワークを拡張し、SAMがSGDよりもフラットなミニマを達成し、mSAMがSAMよりもフラットなミニマを達成できることを理論的に示す。
論文 参考訳(メタデータ) (2023-02-19T23:27:12Z) - Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation
Approach [132.37966970098645]
人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。
本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。
さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
論文 参考訳(メタデータ) (2022-10-11T06:30:10Z) - Towards Understanding Sharpness-Aware Minimization [27.666483899332643]
Sharpness-Aware Minimization (SAM) の成功に対する既存の正当化は、PACBayes の一般化に基づいていると論じる。
対角線ネットワークの暗黙バイアスを理論的に解析する。
SAMで標準モデルを微調整することで、非シャープネットワークの特性を大幅に改善できることを示す。
論文 参考訳(メタデータ) (2022-06-13T15:07:32Z) - Surrogate Gap Minimization Improves Sharpness-Aware Training [52.58252223573646]
Surrogate textbfGap Guided textbfSharpness-textbfAware textbfMinimization (GSAM)は、Sharpness-Aware Minimization (SAM)に対する新しい改善であり、計算オーバーヘッドが無視できる。
GSAMは小さい損失(ステップ1)と低いシャープネス(ステップ2)の両方の領域を求め、高い一般化能力を持つモデルを生み出す。
論文 参考訳(メタデータ) (2022-03-15T16:57:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。