論文の概要: Exploring the Effect of Multi-step Ascent in Sharpness-Aware
Minimization
- arxiv url: http://arxiv.org/abs/2302.10181v1
- Date: Fri, 27 Jan 2023 06:16:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-26 14:46:01.288570
- Title: Exploring the Effect of Multi-step Ascent in Sharpness-Aware
Minimization
- Title(参考訳): シャープネス認識最小化における多段上昇の効果の探索
- Authors: Hoki Kim, Jinseong Park, Yujin Choi, Woojin Lee, Jaewook Lee
- Abstract要約: シャープネス・アウェア・ミニマライゼーション(SAM)はフラット・ミニマを求めることで最先端の性能を示した。
本研究では,SAM最適化における昇降段数の影響を同定し,単段昇降段SAMと多段昇降段SAMが異なる損失景観を示すことを示した。
- 参考スコア(独自算出の注目度): 9.303088864959829
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, Sharpness-Aware Minimization (SAM) has shown state-of-the-art
performance by seeking flat minima. To minimize the maximum loss within a
neighborhood in the parameter space, SAM uses an ascent step, which perturbs
the weights along the direction of gradient ascent with a given radius. While
single-step or multi-step can be taken during ascent steps, previous studies
have shown that multi-step ascent SAM rarely improves generalization
performance. However, this phenomenon is particularly interesting because the
multi-step ascent is expected to provide a better approximation of the maximum
neighborhood loss. Therefore, in this paper, we analyze the effect of the
number of ascent steps and investigate the difference between both single-step
ascent SAM and multi-step ascent SAM. We identify the effect of the number of
ascent on SAM optimization and reveal that single-step ascent SAM and
multi-step ascent SAM exhibit distinct loss landscapes. Based on these
observations, we finally suggest a simple modification that can mitigate the
inefficiency of multi-step ascent SAM.
- Abstract(参考訳): 近年, Sharpness-Aware Minimization (SAM) は, 平らなミニマを求めることで最先端の性能を示した。
パラメータ空間内の近傍における最大損失を最小化するために、SAMは、所定の半径で勾配上昇の方向に沿って重みを摂動させる上昇ステップを使用する。
単段または多段は昇華過程において行うことができるが、従来の研究では、多段の昇華SAMが一般化性能を改善することはめったにない。
しかし, この現象が特に興味深いのは, 多段上昇により, 最大近傍損失の近似性が向上することが期待できるからである。
そこで本研究では,昇降段数の影響を解析し,単段昇降段SAMと多段昇降段SAMの差について検討する。
SAM最適化における昇降回数の影響を同定し、単段昇降SAMと多段昇降SAMが異なる損失景観を示すことを示した。
これらの観測に基づいて,多段階SAMの非効率性を緩和する簡単な修正を提案する。
関連論文リスト
- Stabilizing Sharpness-aware Minimization Through A Simple
Renormalization Strategy [12.927965934262847]
シャープネス・アウェア(SAM)を用いたニューラルネットワークのトレーニングは非常に不安定である。
そこで我々は、StableSAMと呼ばれる単純な再正規化戦略を提案し、従順勾配のノルムが正確な勾配のノルムを維持する。
本稿は,StableSAMが学習率のこの仕組みをどのように拡張し,SAMを微調整で一貫した性能を実現できるかを示す。
論文 参考訳(メタデータ) (2024-01-14T10:53:36Z) - Lookbehind-SAM: k steps back, 1 step forward [12.20798198219053]
シャープネス・アウェア(SAM)メソッドの人気が高まっている。
本研究では, SAMの目的の効率性と目的を向上し, 損失共有のトレードオフを向上する。
性能の向上,重みに対する堅牢性の向上,学習の改善,破滅的な忘れ作業の削減などが示される。
論文 参考訳(メタデータ) (2023-07-31T14:23:39Z) - Systematic Investigation of Sparse Perturbed Sharpness-Aware
Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。
SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。
本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文 参考訳(メタデータ) (2023-06-30T09:33:41Z) - Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。
SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-07T08:05:46Z) - AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning
Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。
AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。
いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
論文 参考訳(メタデータ) (2023-03-01T15:12:42Z) - mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization [20.560184120992094]
シャープネス・アウェアの最小化手法は、フラットな最小化に向けて勾配降下法を操る基本損失関数を変更する。
我々は最近開発されたフラットネス解析のためのよく研究された一般的なフレームワークを拡張し、SAMがSGDよりもフラットなミニマを達成し、mSAMがSAMよりもフラットなミニマを達成できることを理論的に示す。
論文 参考訳(メタデータ) (2023-02-19T23:27:12Z) - Stability Analysis of Sharpness-Aware Minimization [5.024497308975435]
Sharpness-Aware(SAM)は、ディープラーニングにおいてフラットなミニマを見つけるための、最近提案されたトレーニング手法である。
本稿では,SAM力学がサドル点付近で発生する収束不安定性を有することを示す。
論文 参考訳(メタデータ) (2023-01-16T08:42:40Z) - Improved Deep Neural Network Generalization Using m-Sharpness-Aware
Minimization [14.40189851070842]
シャープネス・アウェア最小化(SAM)は、基礎となる損失関数を修正し、フラットなミニマへ導出する方法を導出する。
近年の研究ではmSAMがSAMよりも精度が高いことが示唆されている。
本稿では,様々なタスクやデータセットにおけるmSAMの包括的評価について述べる。
論文 参考訳(メタデータ) (2022-12-07T00:37:55Z) - K-SAM: Sharpness-Aware Minimization at the Speed of SGD [83.78737278889837]
シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークの精度を向上させるための堅牢な手法として登場した。
SAMは実際に高い計算コストを発生させ、バニラSGDの2倍の計算を必要とする。
そこで本研究では,最大損失を持つトップkサンプルのみを用いてSAMの両段階の勾配を計算することを提案する。
論文 参考訳(メタデータ) (2022-10-23T21:49:58Z) - Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation
Approach [132.37966970098645]
人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。
本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。
さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
論文 参考訳(メタデータ) (2022-10-11T06:30:10Z) - Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。
LookSAMはSAMと同じような精度を実現し、非常に高速である。
Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
論文 参考訳(メタデータ) (2022-03-05T11:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。