論文の概要: Sharpness-Aware Minimization and Muon: Robustness under the Spectral Norm

• arxiv url: http://arxiv.org/abs/2607.26001v1
• Date: Tue, 28 Jul 2026 17:18:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.946815
• Title: Sharpness-Aware Minimization and Muon: Robustness under the Spectral Norm
• Title（参考訳）: シャープネスの最小化とミューオン:スペクトルノルム下でのロバストネス
• Abstract要約: シャープネス認識最小化(SAM)の両段階における行列認識幾何について検討する。 本研究では,行列値の隠れ層パラメータに対する層状スペクトル内摂動を導入し,外部更新ではAdamW/SGDWまたはMuonと組み合わせる。 ViT-Small/16 と ResNet-50 のImageNet-1K 実験全体では、スペクトル内積とミューオン外積の組合せが一貫して強く機能していることが判明した。
• 参考スコア（独自算出の注目度）: 11.791344953323287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sharpness-Aware Minimization (SAM) aims to improve generalization by encouraging insensitivity to small, worst-case parameter perturbations. However, the notion of a "small" perturbation is inherently geometry-dependent: while existing SAM variants have explored a wide range of choices, a clear perspective on which geometries are most effective in practice remains elusive. Recent work on matrix-aware optimization, particularly the Muon optimizer, suggests that respecting the matrix structure of hidden-layer weights can lead to strong empirical performance. Motivated by this, we study matrix-aware geometry in both stages of SAM: we introduce a layerwise spectral inner perturbation for matrix-valued hidden-layer parameters and combine it with either AdamW/SGDW or Muon in the outer update. Across ImageNet-1K experiments on ViT-Small/16 and ResNet-50, we find that the combination of a spectral inner step with a Muon outer step performs consistently strongly, achieving the best validation accuracy on both models among the evaluated methods.
• Abstract（参考訳）: Sharpness-Aware Minimization (SAM) は、小さな、最悪のパラメータ摂動に対する感度を奨励することで、一般化を改善することを目的としている。 しかし、「小さな」摂動の概念は本質的に幾何学に依存している:既存のSAM変種は幅広い選択肢を探索してきたが、測地が実際に最も効果的である明確な視点は、まだ解明されていない。 行列認識最適化に関する最近の研究、特にミューオンオプティマイザは、隠れた層重みの行列構造を尊重することは、強い経験的性能をもたらすことを示唆している。 そこで, SAM の両段階における行列認識幾何について検討し, 行列値の隠蔽層パラメータに対する層状スペクトル内摂動を導入し, 外部更新においてAdamW/SGDW あるいは Muon と組み合わせた。 ViT-Small/16 と ResNet-50 のImageNet-1K 実験全体では,スペクトル内積と Muon 外積の組合せが一貫した動作をし,評価手法の両モデルで最高の検証精度が得られた。

関連論文リスト

• Leveraging Extragradient for Effective Sharpness-Aware Minimization in Deep Learning [31.961129763228175]
  一般化は、従来のデータセットがシャープなミニマに収束し、目に見えないデータに過度に適合し、パフォーマンスを低下させるディープラーニングにおいて、依然として重要な課題である。 本稿では,エクストラグラディエント・インスパイアされたシャープネス・アウェアの最小化(EISAM)を提案する。
  論文  参考訳（メタデータ） (2026-07-07T11:25:46Z)
• Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning [52.63618112418439]
  シャープネス対応計算(SAM)は、細調整を含む機械学習タスクの一般化性能を改善するために、平らなロスランドスケープを持つミニマを求める。 本稿では,層にスパース手法を導入することにより,このボトルネックを解消するアプローチSL-SAMを提案する。
  論文  参考訳（メタデータ） (2026-02-10T04:05:43Z)
• X-SAM: Boosting Sharpness-Aware Minimization with Dominant-Eigenvector Gradient Correction [7.8091155908891965]
  スペクトルおよび幾何学的観点からシャープネス認識最小化(SAM)について検討する。 本稿では,トップ固有ベクトルに沿った分解によって勾配を補正する明示的な固有ベクトル整列SAM(X-SAM)を提案する。 我々は、X-SAMの収束と優れた一般化を証明し、理論的および実用的両方の利点を実証する広範な実験的な評価を行った。
  論文  参考訳（メタデータ） (2026-01-15T10:19:08Z)
• LightSAM: Parameter-Agnostic Sharpness-Aware Minimization [92.17866492331524]
  シャープネス・アウェアの最小化(SAM)は、重量摂動を通して平らなミニマランドスケープを探索することにより、機械学習モデルの能力を高める。 SAMはさらなるハイパーパラメータ、摂動半径を導入し、SAMの感度を誘導する。 本稿では,SAMの摂動半径と学習速度を適応的に設定するアルゴリズムLightSAMを提案する。
  論文  参考訳（メタデータ） (2025-05-30T09:28:38Z)
• Monge SAM: Robust Reparameterization-Invariant Sharpness-Aware Minimization Based on Loss Geometry [2.854482269849925]
  シャープネスを意識した最小化(SAM)は、逆方向の摂動の勾配に応じてパラメータを更新することにより、平坦な領域を効率的に見つける。 我々はSAMの再パラメータ化不変バージョンであるMonge SAM (M-SAM)を提案する。 理論的にも経験的にも、マルチモーダルな表現アライメントタスクにおいて、この振る舞いを実証する。
  論文  参考訳（メタデータ） (2025-02-12T14:40:19Z)
• μP$^2$: Effective Sharpness Aware Minimization Requires Layerwise Perturbation Scaling [49.25546155981064]
  シャープネス認識最小化(SAM)を用いたニューラルネットワークの無限幅限界について検討する。 この結果から, SAMのダイナミクスは, 広範なニューラルネットワークにおいて, 最後の層のみにSAMを適用することで効果的に低下することが判明した。 対照的に、階層的なスケーリングを伴う安定したパラメータ化を識別し、それを $textitMaximal Update and Perturbation $$mu$P$2$ と呼びます。
  論文  参考訳（メタデータ） (2024-10-31T16:32:04Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
  シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T08:05:46Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。