論文の概要: SAMPa: Sharpness-aware Minimization Parallelized

• arxiv url: http://arxiv.org/abs/2410.10683v1
• Date: Mon, 14 Oct 2024 16:21:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 20:15:14.967731
• Title: SAMPa: Sharpness-aware Minimization Parallelized
• Title（参考訳）: SAMPa: シャープネスを意識した最小化を並列化
• Authors: Wanyun Xie, Thomas Pethick, Volkan Cevher,
• Abstract要約: シャープネス認識(SAM)はニューラルネットワークの一般化を改善することが示されている。 SAMの更新には2つの勾配を瞬時に計算する必要がある。 我々は,SAMPaと呼ばれるSAMの簡単な修正を提案し,この2つの勾配計算を完全に並列化することができる。
• 参考スコア（独自算出の注目度）: 51.668052890249726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-aware minimization (SAM) has been shown to improve the generalization of neural networks. However, each SAM update requires \emph{sequentially} computing two gradients, effectively doubling the per-iteration cost compared to base optimizers like SGD. We propose a simple modification of SAM, termed SAMPa, which allows us to fully parallelize the two gradient computations. SAMPa achieves a twofold speedup of SAM under the assumption that communication costs between devices are negligible. Empirical results show that SAMPa ranks among the most efficient variants of SAM in terms of computational time. Additionally, our method consistently outperforms SAM across both vision and language tasks. Notably, SAMPa theoretically maintains convergence guarantees even for \emph{fixed} perturbation sizes, which is established through a novel Lyapunov function. We in fact arrive at SAMPa by treating this convergence guarantee as a hard requirement -- an approach we believe is promising for developing SAM-based methods in general. Our code is available at \url{https://github.com/LIONS-EPFL/SAMPa}.
• Abstract（参考訳）: シャープネスを意識した最小化(SAM)は、ニューラルネットワークの一般化を改善することが示されている。 しかし、SAMの更新には2つの勾配を計算することが必要であり、SGDのようなベースオプティマイザと比較して、効率よくイテレーション当たりのコストを2倍にする。 我々は,SAMPaと呼ばれるSAMの簡単な修正を提案し,この2つの勾配計算を完全に並列化することができる。 SAMPaは、デバイス間の通信コストが無視可能であるという前提のもと、SAMの2倍のスピードアップを達成する。 実験の結果、SAMPaはSAMの計算時間において最も効率的な変種であることがわかった。 さらに,本手法は視覚タスクと言語タスクの両方でSAMを上回っている。 特に、SAMPa は、新しいリャプノフ函数によって確立された 'emph{fixed} 摂動サイズであっても収束保証を理論的に維持する。 実際、私たちはこの収束保証をハード要件として扱うことでSAMPaに到達しました。 私たちのコードは \url{https://github.com/LIONS-EPFL/SAMPa} で利用可能です。

関連論文リスト

• Improving SAM Requires Rethinking its Optimization Formulation [57.601718870423454]
  Sharpness-Aware Minimization (SAM) は、もともとネットワークの重みと有界摂動がそれぞれ同じ差分損失を最小/最大化しようとするゼロサムゲームとして定式化されている。 我々は SAM を 0-1 の損失を用いて再定式化すべきであると主張する。連続緩和として、最小化(最大化)プレイヤーが 0-1 の損失に対して上界(より下界)をサロゲートする単純なアプローチに従う。これは BiSAM と呼ばれる双レベル最適化問題として SAM の新たな定式化につながる。
  論文  参考訳（メタデータ） (2024-07-17T20:22:33Z)
• Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization [17.670203551488218]
  シャープネス認識最小化(AUSAM)を加速する漸近的アンバイアスサンプリングを提案する。 AUSAMはモデルの一般化能力を維持しながら、計算効率を大幅に向上させる。 プラグアンドプレイでアーキテクチャに依存しない手法として、我々のアプローチはSAMを様々なタスクやネットワークで継続的に加速させる。
  論文  参考訳（メタデータ） (2024-06-12T08:47:44Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• An Adaptive Policy to Employ Sharpness-Aware Minimization [5.5347134457499845]
  シャープネス対応最小化 (SAM) は, min-max 最適化により平坦な最小値を求める。 最近の最先端技術はSAM更新の割合を減らしている。 AE-SAMとAE-LookSAMという2つの効率的なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2023-04-28T06:23:32Z)
• K-SAM: Sharpness-Aware Minimization at the Speed of SGD [83.78737278889837]
  シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークの精度を向上させるための堅牢な手法として登場した。 SAMは実際に高い計算コストを発生させ、バニラSGDの2倍の計算を必要とする。 そこで本研究では,最大損失を持つトップkサンプルのみを用いてSAMの両段階の勾配を計算することを提案する。
  論文  参考訳（メタデータ） (2022-10-23T21:49:58Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
  内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。 LookSAMはSAMと同じような精度を実現し、非常に高速である。 Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
  論文  参考訳（メタデータ） (2022-03-05T11:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。