論文の概要: ZO-SAM: Zero-Order Sharpness-Aware Minimization for Efficient Sparse Training

• arxiv url: http://arxiv.org/abs/2603.13115v1
• Date: Fri, 13 Mar 2026 16:11:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:12.174963
• Title: ZO-SAM: Zero-Order Sharpness-Aware Minimization for Efficient Sparse Training
• Title（参考訳）: ZO-SAM:効率的なスパーストレーニングのためのゼロ次シャープネス認識最小化
• Authors: Jie Ji, Gen Li, Kaiyuan Deng, Fatemeh Afghah, Xiaolong Ma,
• Abstract要約: スパースニューラルネットワークは、パラメータ数と計算オーバーヘッドを劇的に削減することで、制約を著しく緩和する。 既存のスパーストレーニング手法は、しばしばカオスでノイズの多い勾配信号を経験し、収束と一般化性能を著しく妨げている。 我々は,ゼロオーダーのシャープネス・アウェア最小化(ZO-SAM)を提案し,これはSAMアプローチ内でゼロオーダーの最適化を戦略的に統合する新しい最適化フレームワークである。
• 参考スコア（独自算出の注目度）: 22.67717083974045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models, despite their impressive achievements, suffer from high computational costs and memory requirements, limiting their usability in resource-constrained environments. Sparse neural networks significantly alleviate these constraints by dramatically reducing parameter count and computational overhead. However, existing sparse training methods often experience chaotic and noisy gradient signals, severely hindering convergence and generalization performance, particularly at high sparsity levels. To tackle this critical challenge, we propose Zero-Order Sharpness-Aware Minimization (ZO-SAM), a novel optimization framework that strategically integrates zero-order optimization within the SAM approach. Unlike traditional SAM, ZO-SAM requires only a single backpropagation step during perturbation, selectively utilizing zero-order gradient estimations. This innovative approach reduces the backpropagation computational cost by half compared to conventional SAM, significantly lowering gradient variance and effectively eliminating associated computational overhead. By harnessing SAM's capacity for identifying flat minima, ZO-SAM stabilizes the training process and accelerates convergence. These efficiency gains are particularly important in sparse training scenarios, where computational cost is the primary bottleneck that limits the practicality of SAM. Moreover, models trained with ZO-SAM exhibit improved robustness under distribution shift, further broadening its practicality in real-world deployments.
• Abstract（参考訳）: ディープラーニングモデルは、目覚ましい成果にもかかわらず、高い計算コストとメモリ要件に悩まされ、リソースに制約のある環境でのユーザビリティが制限される。 スパースニューラルネットワークはパラメータ数と計算オーバーヘッドを劇的に減らし、これらの制約を著しく緩和する。 しかし、既存のスパーストレーニング手法は、しばしばカオスでノイズの多い勾配信号を経験し、特に高空間レベルの収束と一般化性能を著しく妨げている。 そこで本研究では,ZO-SAM(Zero-Order Sharpness-Aware Minimization)を提案する。 従来のSAMとは異なり、ZO-SAMは摂動中の1つのバックプロパゲーションステップしか必要とせず、ゼロ階勾配推定を選択的に利用している。 この革新的なアプローチは、従来のSAMと比較して、バックプロパゲーション計算コストを半分に減らし、勾配のばらつきを著しく低減し、関連する計算オーバーヘッドを効果的に排除する。 平らなミニマを識別するSAMの能力を利用することで、ZO-SAMはトレーニングプロセスを安定させ、収束を加速する。 これらの効率向上は、SAMの実用性を制限する主要なボトルネックとなる計算コストの分散トレーニングシナリオにおいて特に重要である。 さらに、ZO-SAMで訓練されたモデルでは、分散シフト下での堅牢性が向上し、実世界の展開における実用性がさらに向上した。

関連論文リスト

• Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning [52.63618112418439]
  シャープネス対応計算(SAM)は、細調整を含む機械学習タスクの一般化性能を改善するために、平らなロスランドスケープを持つミニマを求める。 本稿では,層にスパース手法を導入することにより,このボトルネックを解消するアプローチSL-SAMを提案する。
  論文  参考訳（メタデータ） (2026-02-10T04:05:43Z)
• LSAM: Asynchronous Distributed Training with Landscape-Smoothed Sharpness-Aware Minimization [6.794145254474338]
  シャープネス認識最小化(SAM)は、損失とシャープネスの両方を最小化することにより、ディープニューラルネットワークの一般化を改善する。 提案するランドスケープ・スムースドSAM(LSAM)は,SAMの利点を保ちつつ,優れた効率性を提供する新しい一般化である。
  論文  参考訳（メタデータ） (2025-09-03T08:07:43Z)
• LORENZA: Enhancing Generalization in Low-Rank Gradient LLM Training via Efficient Zeroth-Order Adaptive SAM [13.180761892449736]
  大規模言語モデル(LLM)のためのロバストパラメータ効率細調整法(PEFT)について検討する。 我々はAdam と Sharpness-Aware Minimization (SAM) を組み合わせた AdaZo-SAM という,計算効率のよい新しいフレームワークを提案する。 また,AdaZo-SAMのメモリ効率向上版であるLORENZAという低ランク勾配最適化手法を設計した。
  論文  参考訳（メタデータ） (2025-02-26T21:30:34Z)
• Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy [12.050160495730381]
  SAM ( sharpness-aware generalization) は性能向上に驚くべき効果があることから注目されている。 本稿では, 安定SAM (SSAM) と呼ばれる単純な再正規化戦略を提案する。 我々の戦略は実装が容易で、SAMとその変種と統合するのに十分な柔軟性があり、ほとんど計算コストがかからない。
  論文  参考訳（メタデータ） (2024-01-14T10:53:36Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。