論文の概要: Exploring the Effect of Multi-step Ascent in Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2302.10181v1
• Date: Fri, 27 Jan 2023 06:16:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-26 14:46:01.288570
• Title: Exploring the Effect of Multi-step Ascent in Sharpness-Aware Minimization
• Title（参考訳）: シャープネス認識最小化における多段上昇の効果の探索
• Authors: Hoki Kim, Jinseong Park, Yujin Choi, Woojin Lee, Jaewook Lee
• Abstract要約: シャープネス・アウェア・ミニマライゼーション(SAM)はフラット・ミニマを求めることで最先端の性能を示した。 本研究では,SAM最適化における昇降段数の影響を同定し,単段昇降段SAMと多段昇降段SAMが異なる損失景観を示すことを示した。
• 参考スコア（独自算出の注目度）: 9.303088864959829
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently, Sharpness-Aware Minimization (SAM) has shown state-of-the-art performance by seeking flat minima. To minimize the maximum loss within a neighborhood in the parameter space, SAM uses an ascent step, which perturbs the weights along the direction of gradient ascent with a given radius. While single-step or multi-step can be taken during ascent steps, previous studies have shown that multi-step ascent SAM rarely improves generalization performance. However, this phenomenon is particularly interesting because the multi-step ascent is expected to provide a better approximation of the maximum neighborhood loss. Therefore, in this paper, we analyze the effect of the number of ascent steps and investigate the difference between both single-step ascent SAM and multi-step ascent SAM. We identify the effect of the number of ascent on SAM optimization and reveal that single-step ascent SAM and multi-step ascent SAM exhibit distinct loss landscapes. Based on these observations, we finally suggest a simple modification that can mitigate the inefficiency of multi-step ascent SAM.
• Abstract（参考訳）: 近年, Sharpness-Aware Minimization (SAM) は, 平らなミニマを求めることで最先端の性能を示した。 パラメータ空間内の近傍における最大損失を最小化するために、SAMは、所定の半径で勾配上昇の方向に沿って重みを摂動させる上昇ステップを使用する。 単段または多段は昇華過程において行うことができるが、従来の研究では、多段の昇華SAMが一般化性能を改善することはめったにない。 しかし, この現象が特に興味深いのは, 多段上昇により, 最大近傍損失の近似性が向上することが期待できるからである。 そこで本研究では,昇降段数の影響を解析し,単段昇降段SAMと多段昇降段SAMの差について検討する。 SAM最適化における昇降回数の影響を同定し、単段昇降SAMと多段昇降SAMが異なる損失景観を示すことを示した。 これらの観測に基づいて,多段階SAMの非効率性を緩和する簡単な修正を提案する。

関連論文リスト

• Sharpness-Aware Minimization Efficiently Selects Flatter Minima Late in Training [47.25594539120258]
  Sharpness-Aware Minimization (SAM) はトレーニングの遅滞時に効率よくフラットなミニマを選択する。 SAMの訓練の終わりに応用されたいくつかのエポックでさえ、完全なSAMトレーニングとほぼ同じ一般化と解のシャープネスをもたらす。 我々は、最終解の物性を形作る上で、最終相で選択した最適化法がより重要であると推測する。
  論文  参考訳（メタデータ） (2024-10-14T10:56:42Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy [12.050160495730381]
  SAM ( sharpness-aware generalization) は性能向上に驚くべき効果があることから注目されている。 本稿では, 安定SAM (SSAM) と呼ばれる単純な再正規化戦略を提案する。 我々の戦略は実装が容易で、SAMとその変種と統合するのに十分な柔軟性があり、ほとんど計算コストがかからない。
  論文  参考訳（メタデータ） (2024-01-14T10:53:36Z)
• Lookbehind-SAM: k steps back, 1 step forward [12.964407239627537]
  シャープネス・アウェア(SAM)法は,損失値と損失シャープネスの両方を最小化することによる定式化問題によって普及している。 本研究では, SAMの目的の効率性と目的を向上し, 損失共有のトレードオフを向上する。 本研究では,SAMのステップを向上し,損失の高い最悪の摂動を見出すために,Lookbehindを提案する。
  論文  参考訳（メタデータ） (2023-07-31T14:23:39Z)
• mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization [20.560184120992094]
  シャープネス・アウェアの最小化手法は、フラットな最小化に向けて勾配降下法を操る基本損失関数を変更する。 我々は最近開発されたフラットネス解析のためのよく研究された一般的なフレームワークを拡張し、SAMがSGDよりもフラットなミニマを達成し、mSAMがSAMよりもフラットなミニマを達成できることを理論的に示す。
  論文  参考訳（メタデータ） (2023-02-19T23:27:12Z)
• Stability Analysis of Sharpness-Aware Minimization [5.024497308975435]
  Sharpness-Aware(SAM)は、ディープラーニングにおいてフラットなミニマを見つけるための、最近提案されたトレーニング手法である。 本稿では,SAM力学がサドル点付近で発生する収束不安定性を有することを示す。
  論文  参考訳（メタデータ） (2023-01-16T08:42:40Z)
• K-SAM: Sharpness-Aware Minimization at the Speed of SGD [83.78737278889837]
  シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークの精度を向上させるための堅牢な手法として登場した。 SAMは実際に高い計算コストを発生させ、バニラSGDの2倍の計算を必要とする。 そこで本研究では,最大損失を持つトップkサンプルのみを用いてSAMの両段階の勾配を計算することを提案する。
  論文  参考訳（メタデータ） (2022-10-23T21:49:58Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
  内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。 LookSAMはSAMと同じような精度を実現し、非常に高速である。 Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
  論文  参考訳（メタデータ） (2022-03-05T11:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。