論文の概要: LSAM: Asynchronous Distributed Training with Landscape-Smoothed Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2509.03110v1
• Date: Wed, 03 Sep 2025 08:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.453558
• Title: LSAM: Asynchronous Distributed Training with Landscape-Smoothed Sharpness-Aware Minimization
• Title（参考訳）: LSAM:ランドスケープ・スムーズなシャープネス・アウェア最小化による非同期分散トレーニング
• Authors: Yunfei Teng, Sixin Zhang,
• Abstract要約: シャープネス認識最小化(SAM)は、損失とシャープネスの両方を最小化することにより、ディープニューラルネットワークの一般化を改善する。 提案するランドスケープ・スムースドSAM(LSAM)は,SAMの利点を保ちつつ,優れた効率性を提供する新しい一般化である。
• 参考スコア（独自算出の注目度）: 6.794145254474338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Sharpness-Aware Minimization (SAM) improves generalization in deep neural networks by minimizing both loss and sharpness, it suffers from inefficiency in distributed large-batch training. We present Landscape-Smoothed SAM (LSAM), a novel optimizer that preserves SAM's generalization advantages while offering superior efficiency. LSAM integrates SAM's adversarial steps with an asynchronous distributed sampling strategy, generating an asynchronous distributed sampling scheme, producing a smoothed sharpness-aware loss landscape for optimization. This design eliminates synchronization bottlenecks, accelerates large-batch convergence, and delivers higher final accuracy compared to data-parallel SAM.
• Abstract（参考訳）: シャープネス認識最小化(SAM)は、損失とシャープネスの両方を最小化することで、ディープニューラルネットワークの一般化を改善するが、分散大規模バッチトレーニングでは非効率に悩まされる。 我々は,SAMの一般化の優位性を保ちつつ,優れた効率性を提供する新しい最適化手法であるLandscape-Smoothed SAM(LSAM)を提案する。 LSAMはSAMの対向ステップを非同期分散サンプリング戦略と統合し、非同期分散サンプリングスキームを生成し、スムーズなシャープネス対応ロスランドスケープを生成して最適化する。 この設計は同期ボトルネックを排除し、大バッチ収束を加速し、データ並列SAMよりも高い最終的な精度を提供する。

関連論文リスト

• Focal-SAM: Focal Sharpness-Aware Minimization for Long-Tailed Classification [113.6840565194525]
  実世界のデータセットは長い尾の分布に従うことが多く、尾のクラスへの一般化は困難である。 近年,ロスランドスケープを平坦化して一般化を改善するため,シャープネス・アウェア最小化法 (SAM) の長尾変種を利用した手法が提案されている。 クラスごとに異なる罰則を割り当てるFocal-SAMを導入し、余分なバックプロパゲーションを伴わずにきめ細かい制御を実現する。
  論文  参考訳（メタデータ） (2025-05-03T03:01:28Z)
• Asynchronous Sharpness-Aware Minimization For Fast and Accurate Deep Learning [5.77502465665279]
  Sharpness-Aware Minimization (SAM) は機械学習モデルの一般化性能を改善する最適化手法である。 その優れた一般化にもかかわらず、SAMは高価な計算コストのために現実世界のアプリケーションでは積極的に使われていない。 本稿では,モデル摂動とモデル更新の間のデータ依存性を破りながら,オリジナルのSAMとほぼ同じ勾配正規化効果を達成できる新しい非同期並列SAMを提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:34:39Z)
• SAMPa: Sharpness-aware Minimization Parallelized [51.668052890249726]
  シャープネス認識(SAM)はニューラルネットワークの一般化を改善することが示されている。 SAMの更新には2つの勾配を瞬時に計算する必要がある。 我々は,SAMPaと呼ばれるSAMの簡単な修正を提案し,この2つの勾配計算を完全に並列化することができる。
  論文  参考訳（メタデータ） (2024-10-14T16:21:23Z)
• Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization [17.670203551488218]
  シャープネス認識最小化(AUSAM)を加速する漸近的アンバイアスサンプリングを提案する。 AUSAMはモデルの一般化能力を維持しながら、計算効率を大幅に向上させる。 プラグアンドプレイでアーキテクチャに依存しない手法として、我々のアプローチはSAMを様々なタスクやネットワークで継続的に加速させる。
  論文  参考訳（メタデータ） (2024-06-12T08:47:44Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。