論文の概要: Asynchronous Sharpness-Aware Minimization For Fast and Accurate Deep Learning

• arxiv url: http://arxiv.org/abs/2503.11147v1
• Date: Fri, 14 Mar 2025 07:34:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:26.550547
• Title: Asynchronous Sharpness-Aware Minimization For Fast and Accurate Deep Learning
• Title（参考訳）: 高速かつ高精度なディープラーニングのための非同期シャープネス認識最小化
• Authors: Junhyuk Jo, Jihyun Lim, Sunwoo Lee,
• Abstract要約: Sharpness-Aware Minimization (SAM) は機械学習モデルの一般化性能を改善する最適化手法である。 その優れた一般化にもかかわらず、SAMは高価な計算コストのために現実世界のアプリケーションでは積極的に使われていない。 本稿では,モデル摂動とモデル更新の間のデータ依存性を破りながら,オリジナルのSAMとほぼ同じ勾配正規化効果を達成できる新しい非同期並列SAMを提案する。
• 参考スコア（独自算出の注目度）: 5.77502465665279
• License:
• Abstract: Sharpness-Aware Minimization (SAM) is an optimization method that improves generalization performance of machine learning models. Despite its superior generalization, SAM has not been actively used in real-world applications due to its expensive computational cost. In this work, we propose a novel asynchronous-parallel SAM which achieves nearly the same gradient norm penalizing effect like the original SAM while breaking the data dependency between the model perturbation and the model update. The proposed asynchronous SAM can even entirely hide the model perturbation time by adjusting the batch size for the model perturbation in a system-aware manner. Thus, the proposed method enables to fully utilize heterogeneous system resources such as CPUs and GPUs. Our extensive experiments well demonstrate the practical benefits of the proposed asynchronous approach. E.g., the asynchronous SAM achieves comparable Vision Transformer fine-tuning accuracy (CIFAR-100) as the original SAM while having almost the same training time as SGD.
• Abstract（参考訳）: Sharpness-Aware Minimization (SAM) は機械学習モデルの一般化性能を改善する最適化手法である。 その優れた一般化にもかかわらず、SAMは高価な計算コストのために現実世界のアプリケーションでは積極的に使われていない。 本研究では,モデル摂動とモデル更新の間のデータ依存性を破りながら,元のSAMとほぼ同じ勾配の正規化効果を達成できる新しい非同期並列SAMを提案する。 提案した非同期SAMは、モデル摂動のバッチサイズをシステムに意識して調整することで、モデル摂動時間を完全に隠すことができる。 そこで,提案手法はCPUやGPUなどの異種システム資源を十分に活用することができる。 我々の広範な実験は、提案された非同期アプローチの実践的な利点をよく示している。 例えば、非同期SAMは、SGDとほぼ同じトレーニング時間を持ちながら、元のSAMと同等のVision Transformerファインチューニング精度(CIFAR-100)を達成する。

関連論文リスト

• Sharpness-Aware Minimization with Adaptive Regularization for Training Deep Neural Networks [4.877624278656814]
  Sharpness-Aware Minimization (SAM) は機械学習タスクにおけるモデル一般化の改善に極めて有効であることが証明されている。 本稿では,適応正規化パラメータを動的に更新するフレキシブルなシャープネス比ルールを導入するSAM with Adaptive Regularization (SAMAR)を提案する。
  論文  参考訳（メタデータ） (2024-12-22T04:40:02Z)
• SAMPa: Sharpness-aware Minimization Parallelized [51.668052890249726]
  シャープネス認識(SAM)はニューラルネットワークの一般化を改善することが示されている。 SAMの更新には2つの勾配を瞬時に計算する必要がある。 我々は,SAMPaと呼ばれるSAMの簡単な修正を提案し,この2つの勾配計算を完全に並列化することができる。
  論文  参考訳（メタデータ） (2024-10-14T16:21:23Z)
• Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization [17.670203551488218]
  シャープネス認識最小化(AUSAM)を加速する漸近的アンバイアスサンプリングを提案する。 AUSAMはモデルの一般化能力を維持しながら、計算効率を大幅に向上させる。 プラグアンドプレイでアーキテクチャに依存しない手法として、我々のアプローチはSAMを様々なタスクやネットワークで継続的に加速させる。
  論文  参考訳（メタデータ） (2024-06-12T08:47:44Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• An Adaptive Policy to Employ Sharpness-Aware Minimization [5.5347134457499845]
  シャープネス対応最小化 (SAM) は, min-max 最適化により平坦な最小値を求める。 最近の最先端技術はSAM更新の割合を減らしている。 AE-SAMとAE-LookSAMという2つの効率的なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2023-04-28T06:23:32Z)
• Improved Deep Neural Network Generalization Using m-Sharpness-Aware Minimization [14.40189851070842]
  シャープネス・アウェア最小化(SAM)は、基礎となる損失関数を修正し、フラットなミニマへ導出する方法を導出する。 近年の研究ではmSAMがSAMよりも精度が高いことが示唆されている。 本稿では,様々なタスクやデータセットにおけるmSAMの包括的評価について述べる。
  論文  参考訳（メタデータ） (2022-12-07T00:37:55Z)
• Improving Sharpness-Aware Minimization with Fisher Mask for Better Generalization on Language Models [93.85178920914721]
  限られた訓練コーパス上の微調整された大きな事前訓練された言語モデルは、通常、計算の貧弱さに悩まされる。 本稿では,新しい最適化手法であるFSAMを提案し,SAMの効率と性能を改善するためにフィッシャーマスクを導入した。 FSAMは4種類の事前訓練モデルにおいて,バニラSAMの平均スコア0.671.98を上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T14:53:58Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
  内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。 LookSAMはSAMと同じような精度を実現し、非常に高速である。 Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
  論文  参考訳（メタデータ） (2022-03-05T11:53:37Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。