論文の概要: Towards Understanding Sharpness-Aware Minimization
- arxiv url: http://arxiv.org/abs/2206.06232v1
- Date: Mon, 13 Jun 2022 15:07:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 16:27:51.093669
- Title: Towards Understanding Sharpness-Aware Minimization
- Title(参考訳): シャープネス・アウェア・ミニミゼーションの理解に向けて
- Authors: Maksym Andriushchenko, Nicolas Flammarion
- Abstract要約: Sharpness-Aware Minimization (SAM) の成功に対する既存の正当化は、PACBayes の一般化に基づいていると論じる。
対角線ネットワークの暗黙バイアスを理論的に解析する。
SAMで標準モデルを微調整することで、非シャープネットワークの特性を大幅に改善できることを示す。
- 参考スコア(独自算出の注目度): 27.666483899332643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sharpness-Aware Minimization (SAM) is a recent training method that relies on
worst-case weight perturbations which significantly improves generalization in
various settings. We argue that the existing justifications for the success of
SAM which are based on a PAC-Bayes generalization bound and the idea of
convergence to flat minima are incomplete. Moreover, there are no explanations
for the success of using $m$-sharpness in SAM which has been shown as essential
for generalization. To better understand this aspect of SAM, we theoretically
analyze its implicit bias for diagonal linear networks. We prove that SAM
always chooses a solution that enjoys better generalization properties than
standard gradient descent for a certain class of problems, and this effect is
amplified by using $m$-sharpness. We further study the properties of the
implicit bias on non-linear networks empirically, where we show that
fine-tuning a standard model with SAM can lead to significant generalization
improvements. Finally, we provide convergence results of SAM for non-convex
objectives when used with stochastic gradients. We illustrate these results
empirically for deep networks and discuss their relation to the generalization
behavior of SAM. The code of our experiments is available at
https://github.com/tml-epfl/understanding-sam.
- Abstract(参考訳): Sharpness-Aware Minimization (SAM) は、様々な設定における一般化を著しく改善する最悪の重み摂動に依存する最近の訓練手法である。
我々は、PAC-ベイズ一般化境界に基づくSAMの成功に対する既存の正当化と平坦なミニマへの収束の考えが不完全であると主張する。
さらに、SAM で$m$-sharpness を使うことの成功については、一般化に必須であることが示されている説明がない。
SAMのこの側面をよりよく理解するために、対角線ネットワークの暗黙バイアスを理論的に分析する。
SAMは常にある種の問題に対して標準勾配降下よりも優れた一般化特性を持つ解を選択しており、この効果は$m$-シャープネスを用いて増幅される。
さらに,非線形ネットワーク上での暗黙バイアスの特性を実証的に研究し,SAMを用いた標準モデルの微調整が一般化の改善につながることを示した。
最後に,確率勾配を用いた非凸目的に対するsamの収束結果を示す。
本稿では,これらの結果を深層ネットワークに実証的に説明し,SAMの一般化挙動との関係について論じる。
実験のコードはhttps://github.com/tml-epfl/understanding-sam.comで公開されている。
関連論文リスト
- Why Does Sharpness-Aware Minimization Generalize Better Than SGD? [102.40907275290891]
シャープネス・アウェアの最小化(SAM)がデータモデルや2層畳み込みReLUネットワークに対してグラディエントDescent(SGD)よりも優れていることを示す。
その結果,SAMの利点,特に早期の雑音学習を防止し,特徴のより効果的な学習を容易にする能力について解説した。
論文 参考訳(メタデータ) (2023-10-11T07:51:10Z) - ImbSAM: A Closer Look at Sharpness-Aware Minimization in
Class-Imbalanced Recognition [62.20538402226608]
シャープネス・アウェアの最小化(SAM)は,クラス不均衡条件下での一般化問題に対処できないことを示す。
このボトルネックを克服するために,Im Balanced-SAM (ImbSAM) というクラス認識スムーズネス最適化アルゴリズムを提案する。
我々のImbSAMは、テールクラスと異常に対する顕著なパフォーマンス改善を示す。
論文 参考訳(メタデータ) (2023-08-15T14:46:32Z) - Systematic Investigation of Sparse Perturbed Sharpness-Aware
Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。
SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。
本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文 参考訳(メタデータ) (2023-06-30T09:33:41Z) - Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。
SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-07T08:05:46Z) - Sharpness-Aware Minimization Revisited: Weighted Sharpness as a
Regularization Term [4.719514928428503]
正規化項としてシャープネスを組み込んだWSAMという,より一般的な手法を提案する。
PACとBayes-PACの併用による一般化を実証する。
その結果、WSAMは、バニラやSAMとその変種と比較して、より改良された一般化を達成するか、少なくとも高い競争力を持つことを示した。
論文 参考訳(メタデータ) (2023-05-25T08:00:34Z) - On Statistical Properties of Sharpness-Aware Minimization: Provable
Guarantees [5.91402820967386]
シャープネス・アウェアの最小化 (SAM) が一般化する理由について, 新たな理論的説明を行う。
SAMはシャープな問題と非シャープな問題の両方に特に適している。
本研究は,ディープニューラルネットワークを用いた数値実験により検証した。
論文 参考訳(メタデータ) (2023-02-23T07:52:31Z) - SAM operates far from home: eigenvalue regularization as a dynamical
phenomenon [15.332235979022036]
シャープネス認識最小化(SAM)アルゴリズムは、ロス・ヘッセンの大きな固有値を制御することが示されている。
SAMは学習軌跡全体を通して固有値の強い正規化を提供することを示す。
本理論は,学習速度とSAM半径パラメータの関数として最大固有値を予測する。
論文 参考訳(メタデータ) (2023-02-17T04:51:20Z) - An SDE for Modeling SAM: Theory and Insights [7.1967126772249586]
近年,古典的派生型よりも性能が向上したSAM (Sharpness-Aware Minimization) が注目されている。
我々の主な貢献は、SAMの連続時間モデル(SDEの形で)の導出と、フルバッチおよびミニバッチ設定の2つのバリエーションの勾配である。
論文 参考訳(メタデータ) (2023-01-19T17:54:50Z) - How Does Sharpness-Aware Minimization Minimize Sharpness? [29.90109733192208]
シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークの一般化を改善するための非常に効果的な正規化手法である。
本稿では、SAMが基礎となるメカニズムを規則化し、明確化するという正確なシャープネスの概念を厳格に説明する。
論文 参考訳(メタデータ) (2022-11-10T17:56:38Z) - Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation
Approach [132.37966970098645]
人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。
本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。
さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
論文 参考訳(メタデータ) (2022-10-11T06:30:10Z) - Efficient Sharpness-aware Minimization for Improved Training of Neural
Networks [146.2011175973769]
本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。
Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。
我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
論文 参考訳(メタデータ) (2021-10-07T02:20:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。