論文の概要: Analyzing Sharpness-aware Minimization under Overparameterization
- arxiv url: http://arxiv.org/abs/2311.17539v2
- Date: Mon, 5 Feb 2024 11:30:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 03:55:07.880419
- Title: Analyzing Sharpness-aware Minimization under Overparameterization
- Title（参考訳）: 過パラメータ化下におけるシャープネス認識最小化の解析
- Authors: Sungbin Shin, Dongyeop Lee, Maksym Andriushchenko, Namhoon Lee
- Abstract要約: パラメータ化の超過により,シャープネスを意識した最小化(SAM)が有効であることを示す。
また,2層ネットワークの解析により,パラメータ化によるSAMの一般化が向上することを示す。
- 参考スコア（独自算出の注目度）: 13.460372481500368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training an overparameterized neural network can yield minimizers of
different generalization capabilities despite the same level of training loss.
With evidence that suggests a correlation between sharpness of minima and their
generalization errors, increasing efforts have been made to develop an
optimization method to explicitly find flat minima as more generalizable
solutions. However, this sharpness-aware minimization (SAM) strategy has not
been studied much yet as to whether and how it is affected by
overparameterization.
In this work, we analyze SAM under overparameterization of varying degrees
and present both empirical and theoretical results that indicate a critical
influence of overparameterization on SAM. Specifically, we conduct extensive
numerical experiments across various domains, and show that there exists a
consistent trend that SAM continues to benefit from increasing
overparameterization. We also discover compelling cases where the effect of
overparameterization is more pronounced or even diminished along with a series
of ablation studies. On the theoretical side, we use standard techniques in
optimization and prove that SAM can achieve a linear rate of convergence under
overparameterization in a stochastic setting. We also show that
overparameterization can improve generalization of SAM based on an analysis of
two-layer networks, and further, that the linearly stable minima found by SAM
have more uniform Hessian moments compared to SGD.
- Abstract（参考訳）: 過パラメータニューラルネットワークのトレーニングは、同じレベルのトレーニング損失にもかかわらず、異なる一般化能力の最小化をもたらす可能性がある。
極小の鋭さと一般化誤差の相関関係を示唆する証拠から、より一般化可能な解として平坦な極小を明示的に見つけるための最適化手法の開発に努力が払われている。
しかし、このシャープネス認識最小化(SAM)戦略は、過パラメータ化による影響について、まだ研究されていない。
本研究では, SAMの過パラメータ化過程を解析し, SAMに対する過パラメータ化の影響を示す経験的および理論的結果の両方を提示する。
具体的には、様々な領域にわたる広範な数値実験を行い、SAMが過パラメータ化の増加の恩恵を受け続けている一貫した傾向が存在することを示す。
また,過小パラメータ化の効果が,一連のアブレーション研究と並行して,より明瞭に,あるいは減少する,説得力のある事例も見いだした。
理論的には、最適化に標準手法を用い、確率的条件下でのオーバーパラメータ化の下でSAMが線形収束率を達成できることを証明する。
また,2層ネットワークの解析に基づいて,過パラメータ化がsamの一般化を改善できること,さらに,samが発見する線形安定なミニマムがsgdよりも均一なヘッシアンモーメントを持つことを示した。
関連論文リスト
- $\boldsymbolμ\mathbf{P^2}$: Effective Sharpness Aware Minimization Requires Layerwise Perturbation Scaling [49.25546155981064]
シャープネス認識最小化(SAM)を用いたニューラルネットワークの無限幅限界について検討する。
この結果から, SAMのダイナミクスは, 広範なニューラルネットワークにおいて, 最後の層のみにSAMを適用することで効果的に低下することが判明した。
対照的に、階層的にスケールする摂動を伴う安定したパラメータ化を識別し、それを $textitMaximal Update and Perturbation $$mu$P$2$ と呼びます。
論文 参考訳（メタデータ） (2024-10-31T16:32:04Z) - A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。
これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
論文 参考訳（メタデータ） (2024-06-06T01:52:09Z) - Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。
SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-07T08:05:46Z) - The Crucial Role of Normalization in Sharpness-Aware Minimization [44.00155917998616]
Sharpness-Aware Minimization (SAM)は勾配に基づくニューラルネットワークであり、予測性能を大幅に向上させる。
正規化の2つの性質がSAMを超実用性の選択に対して堅牢にすると主張する。
論文 参考訳（メタデータ） (2023-05-24T16:09:41Z) - AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning
Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。
AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。
いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
論文 参考訳（メタデータ） (2023-03-01T15:12:42Z) - Stability Analysis of Sharpness-Aware Minimization [5.024497308975435]
Sharpness-Aware(SAM)は、ディープラーニングにおいてフラットなミニマを見つけるための、最近提案されたトレーニング手法である。
本稿では,SAM力学がサドル点付近で発生する収束不安定性を有することを示す。
論文 参考訳（メタデータ） (2023-01-16T08:42:40Z) - Sharpness-Aware Training for Free [163.1248341911413]
シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。
シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。
SAFは、改善された能力で最小限の平らな収束を保証する。
論文 参考訳（メタデータ） (2022-05-27T16:32:43Z) - Parameters or Privacy: A Provable Tradeoff Between Overparameterization
and Membership Inference [29.743945643424553]
オーバーパラメータ化モデルは、トレーニングデータ(トレーニングデータではゼロエラー)を記憶するように訓練された場合でも、うまく(テストデータでは小さなエラー)一般化する。
このことが、パラメータ化されたモデル(例えばディープラーニング)をますます超越する武器競争に繋がった。
論文 参考訳（メタデータ） (2022-02-02T19:00:21Z) - Efficient Sharpness-aware Minimization for Improved Training of Neural
Networks [146.2011175973769]
本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。
Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。
我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
論文 参考訳（メタデータ） (2021-10-07T02:20:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。