論文の概要: One Size Does Not Fit All: Curvature-Aware Adaptive Perturbation for SAM

• arxiv url: http://arxiv.org/abs/2610.20415v1
• Date: Wed, 14 Oct 2026 16:12:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.247005
• Title: One Size Does Not Fit All: Curvature-Aware Adaptive Perturbation for SAM
• Title（参考訳）: One Size It Not All: Curvature-Aware Adaptive Perturbation for SAM
• Abstract要約: ディープニューラルネットワークの低次一般化は、しばしば鋭いミニマへの収束と関連している。 本稿では,シャープネス比に基づいて摂動半径を変調するSAM (CAPSAM-) のためのCurature-Aware Adaptive Perturbationを提案する。
• 参考スコア（独自算出の注目度）: 2.676349883103404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Poor generalisation in deep neural networks is frequently associated with convergence to sharp minima. Sharpness-Aware Minimisation (SAM) improves generalisation of deep neural networks by minimising a combination of the training loss and the local sharpness of the loss landscape, biasing convergence towards flat minima. However, SAM relies on a fixed perturbation radius $ρ$ that ignores local curvature, leading to inefficient behaviour: the perturbation may be too small to escape poor basins defined by sharp local minima, or too large to allow convergence to solutions with good loss-sharpness tradeoff. We reinterpret $ρ$ as the intensity of the perturbation signal and propose Curvature-Aware Adaptive Perturbation for SAM (CAP-SAM), a geometry-aware method that modulates the perturbation radius based on a sharpness ratio, enabling a more effective search for robust minima on the loss landscape. We prove that CAP-SAM preserves the same convergence rate as standard SAM in non-convex stochastic settings. Extensive experiments indicate that our approach consistently outperforms SAM and its most prominent variants across diverse network architectures on CIFAR-10, CIFAR-100, and ImageNet.
• Abstract（参考訳）: ディープニューラルネットワークの低次一般化は、しばしば鋭いミニマへの収束と関連している。 シャープネス認識最小化(SAM)は、トレーニング損失とロスランドスケープの局所シャープネスの組合せを最小化し、フラットミニマへの収束をバイアスすることで、ディープニューラルネットワークの一般化を改善する。 しかしSAMは局所曲率を無視する固定された摂動半径$ρ$に依存しており、非効率な振る舞いをもたらす: 摂動は急激な局所ミニマによって定義された貧弱な盆地から逃れるには小さすぎるかもしれない。 我々は摂動信号の強度として$ρ$を解釈し、シャープネス比に基づいて摂動半径を変調する幾何認識法であるSAM用曲率適応摂動法(CAP-SAM)を提案する。 CAP-SAMは,非凸確率環境において標準SAMと同じ収束率を保っていることを示す。 CIFAR-10、CIFAR-100、ImageNetの様々なネットワークアーキテクチャにおいて、我々のアプローチはSAMとその最も顕著な変種を一貫して上回ります。

関連論文リスト

• Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization [7.865097630039961]
  Loss-Equated SAM (LE-SAM) は Sharpness-Aware Minimization (SAM) の一般化であり、勾配ノルムが支配する学習信号を除去し、曲率が支配する項へ最適化をシフトする。 Le-SAMはSAMとその変種を一貫して上回り、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-11T08:34:36Z)
• CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
  Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。 特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:46:29Z)
• Enhancing Sharpness-Aware Optimization Through Variance Suppression [48.908966673827734]
  この研究は損失関数の幾何学を取り入れ、そこでは「平坦なミニマ」の近傍が一般化能力を高める。 地区内の敵対的な摂動パラメータによる最大損失を最小化することで「平坦な谷」を求める。 損失関数のシャープさを考慮に入れることが重要であるが、そのような「過剰にフレンドリーな敵」は極端に一般化のレベルを縮めることができる。
  論文  参考訳（メタデータ） (2023-09-27T13:18:23Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。