論文の概要: Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2605.10183v1
• Date: Mon, 11 May 2026 08:34:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.649367
• Title: Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization
• Title（参考訳）: ラディウスではなく損失を修復する: シャープネスを意識した最小化の逆の摂動を再考する
• Authors: Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao,
• Abstract要約: Loss-Equated SAM (LE-SAM) は Sharpness-Aware Minimization (SAM) の一般化であり、勾配ノルムが支配する学習信号を除去し、曲率が支配する項へ最適化をシフトする。 Le-SAMはSAMとその変種を一貫して上回り、最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 7.865097630039961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-Aware Minimization (SAM) improves generalization by minimizing the worst-case loss within a fixed parameter-space radius neighborhood. SAM and its variants mainly rely on a first-order linearized surrogate, while flat minima are inherently a second-order (curvature) notion.We revisit this mismatch and propose Loss-Equated SAM (LE-SAM), which inverts the traditional SAM mechanism that fixed perturbation radius with a fixed loss-space budget,effectively removing gradient-norm-dominated learning signals and shifting optimization toward curvature-dominated terms. Extensive experiments across diverse benchmarks and tasks demonstrate the strong generalization ability of LESAM that consistently outperforms SAM and even its variants, achieving the state-of-the-art performance.
• Abstract（参考訳）: シャープネス・アウェアの最小化(SAM)は、固定パラメータ空間半径近傍における最悪の損失を最小限にすることで一般化を改善する。 SAMとその変種は主に一階線形化サロゲートに依存し、フラットミニマは本質的に二階線形化(曲率)の概念に依存している。我々はこのミスマッチを再検討し、固定された損失空間予算で摂動半径を固定する従来のSAMメカニズムを逆転し、勾配ノルム支配学習信号を効果的に除去し、曲率支配語への最適化をシフトするLos-Equated SAM (LE-SAM)を提案する。 多様なベンチマークやタスクにわたる広範な実験は、SAMとその変種を一貫して上回り、最先端のパフォーマンスを達成するLESAMの強力な一般化能力を示している。

関連論文リスト

• Enhancing Sharpness-Aware Minimization by Learning Perturbation Radius [6.78775404181577]
  そこで我々は,PerTurbation radiuS という二段階最適化フレームワークを提案し,シャープネスを意識した最小化アルゴリズムの摂動半径を学習する。 計算機ビジョンと自然言語処理における様々なアーキテクチャとベンチマークデータセットの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-15T15:40:57Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy [12.050160495730381]
  SAM ( sharpness-aware generalization) は性能向上に驚くべき効果があることから注目されている。 本稿では, 安定SAM (SSAM) と呼ばれる単純な再正規化戦略を提案する。 我々の戦略は実装が容易で、SAMとその変種と統合するのに十分な柔軟性があり、ほとんど計算コストがかからない。
  論文  参考訳（メタデータ） (2024-01-14T10:53:36Z)
• Enhancing Sharpness-Aware Optimization Through Variance Suppression [48.908966673827734]
  この研究は損失関数の幾何学を取り入れ、そこでは「平坦なミニマ」の近傍が一般化能力を高める。 地区内の敵対的な摂動パラメータによる最大損失を最小化することで「平坦な谷」を求める。 損失関数のシャープさを考慮に入れることが重要であるが、そのような「過剰にフレンドリーな敵」は極端に一般化のレベルを縮めることができる。
  論文  参考訳（メタデータ） (2023-09-27T13:18:23Z)
• Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
  シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T08:05:46Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。