論文の概要: Sharpness-aware Orthogonalized Momentum Algorithms

• arxiv url: http://arxiv.org/abs/2610.32465v1
• Date: Fri, 23 Oct 2026 10:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.496047
• Title: Sharpness-aware Orthogonalized Momentum Algorithms
• Title（参考訳）: シャープネスを考慮した直交モーメントアルゴリズム
• Abstract要約: SAM( sharpness-aware generalization)は、ディープラーニングにおける一般化を改善するための手法である。 Muonは、大規模言語モデル(LLM)をトレーニングするための主要な最適化アルゴリズムとして登場した。 本稿では,計算効率が高く理論的に基礎付けられた摂動スキームとMuonアルゴリズムを組み合わせたシャープネス対応orthogonalized Momentum (SOMA)を提案する。
• 参考スコア（独自算出の注目度）: 0.49874800846355516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial sharpness penalty per iteration of a base optimizer, known as sharpness-aware minimization (SAM), is an accepted technique to improve generalization in deep learning. Recently, Muon has emerged as a dominant optimization algorithm for training large language models (LLMs). It achieves lower sample complexity for heavy-tailed gradient updates - a phenomenon common in LLM training. However, sharpness penalties with Muon updates are yet largely unexplored in the literature. Moreover, the behavior of SAM under heavy-tailed noise is unknown both theoretically and empirically. A potential reason for this gap is the additional cost of extra gradient computation per iteration for penalty perturbations in SAM, which becomes prohibitive for LLMs. This paper introduces Sharpness-aware Orthogonalized Momentum Algorithm (SOMA) to combine a computationally efficient and theoretically grounded perturbation scheme with the Muon algorithm. The key idea is to use stale (purely) stochastic gradient noise for adversarial perturbations. Theoretically, we show that SOMA's sample complexity is invariant to the perturbation direction. We provide explorations and insights into SOMA's robustness to heavy-tailed gradient noise. We extensively explore SOMA's efficacy in (a) mitigating quality degradation due to post-training quantization, and (b) catastrophic forgetting during fine-tuning of LLMs.
• Abstract（参考訳）: SAM ( sharpness-aware minimization) として知られるベースオプティマイザの反復1回あたりの対向的シャープネスペナルティは、ディープラーニングの一般化を改善する技術として受け入れられている。 最近、Muonは大規模言語モデル(LLM)をトレーニングするための主要な最適化アルゴリズムとして登場した。 LLMトレーニングで一般的な現象である重尾勾配更新のためのサンプルの複雑さを低くする。 しかし、ムーンの更新による鋭さの罰則は、文献ではまだ明らかにされていない。 さらに,重音下でのSAMの挙動は理論的にも経験的にも不明である。 このギャップの潜在的な理由は、SAMにおけるペナルティ摂動の反復1回当たりの余分な勾配計算のコストが増大することであり、これはLLMでは禁じられている。 本稿では,計算効率が高く理論的に基礎を成す摂動スキームとMuonアルゴリズムを組み合わせたシャープネス対応orthogonalized Momentum Algorithm (SOMA)を提案する。 鍵となる考え方は、逆方向の摂動に対して、古い(純粋に)確率勾配雑音を使用することである。 理論的には、SOMAのサンプルの複雑さは摂動方向と不変である。 重み付き勾配雑音に対するSOMAの頑健性に関する探索と知見を提供する。 我々はSOMAの有効性を幅広く探求する。 (a)後の量子化による品質劣化の緩和、及び b) LLMの微調整中の破滅的忘れ

関連論文リスト

• EMASAM: a Computationally Efficient Sharpness-Aware Minimization via EMA-Guided Perturbations [1.7073691799016324]
  一般化を促進するためのトレーニング戦略として,SAM (Sharpness-Aware Minimization) が提案された。 SAMは、摂動ステップ中に余分な勾配を必要とするコアアルゴリズムのために、計算コストが2倍になる。 本稿では,SAMの計算効率の良い変種であるExponential moving Average Sharpness-Aware Minimization (EMASAM)を紹介する。
  論文  参考訳（メタデータ） (2026-08-15T08:10:31Z)
• Adaptive Sharpness-Aware Minimization with a Polyak-type Step size: A Theory-Grounded Scheduler [16.39606116102731]
  Sharpness-Aware Minimization (SAM)は、強力で広く採用されている機械学習モデルとして自らを確立している。 SAMとその変種は、ほとんどのトレーニングアルゴリズムと同様に、学習率の選択に敏感である。 本研究では、SAMスタイルの更新に合わせたPolyakスケジューラを導出する。 提案したPolyakスケジューラはSAMベースラインを慎重に調整するよりもパフォーマンスが優れていることを示す実験である。
  論文  参考訳（メタデータ） (2026-06-01T07:42:01Z)
• Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning [52.63618112418439]
  シャープネス対応計算(SAM)は、細調整を含む機械学習タスクの一般化性能を改善するために、平らなロスランドスケープを持つミニマを求める。 本稿では,層にスパース手法を導入することにより,このボトルネックを解消するアプローチSL-SAMを提案する。
  論文  参考訳（メタデータ） (2026-02-10T04:05:43Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Momentum-SAM: Sharpness Aware Minimization without Computational Overhead [1.5129569747339653]
  本稿では,蓄積された運動量ベクトルの方向にパラメータを摂動させ,計算オーバーヘッドやメモリ要求を伴わずに低シャープ性を実現するMomentum-SAMを提案する。 我々は、MSAMを詳細に評価し、NAG、SAM、MSAMの分離可能なメカニズムの学習最適化と一般化に関する知見を明らかにする。
  論文  参考訳（メタデータ） (2024-01-22T15:19:18Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)
• On Statistical Properties of Sharpness-Aware Minimization: Provable Guarantees [5.91402820967386]
  シャープネス・アウェアの最小化 (SAM) が一般化する理由について, 新たな理論的説明を行う。 SAMはシャープな問題と非シャープな問題の両方に特に適している。 本研究は,ディープニューラルネットワークを用いた数値実験により検証した。
  論文  参考訳（メタデータ） (2023-02-23T07:52:31Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。