論文の概要: Sharpness-Aware Minimization with Z-Score Gradient Filtering for Neural Networks

• arxiv url: http://arxiv.org/abs/2505.02369v2
• Date: Tue, 06 May 2025 01:56:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 12:42:37.96811
• Title: Sharpness-Aware Minimization with Z-Score Gradient Filtering for Neural Networks
• Title（参考訳）: ニューラルネットワークのためのZスコア勾配フィルタによるシャープネス認識最小化
• Authors: Juyoung Yun,
• Abstract要約: ディープニューラルネットワークでうまく一般化することは、依然として重要な課題である。 Sharpness-Aware Minimization (SAM) の簡易かつ効果的な拡張である ZSharp を提案する。 ZSharpは、統計的に重要な勾配成分のみを保持するために、階層的にZスコア正規化を行い、パーセンタイルベースのフィルタリングを行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Generalizing well in deep neural networks remains a core challenge, particularly due to their tendency to converge to sharp minima that degrade robustness. Sharpness-Aware Minimization (SAM) mitigates this by seeking flatter minima but perturbs parameters using the full gradient, which can include statistically insignificant directions. We propose ZSharp, a simple yet effective extension to SAM that applies layer-wise Z-score normalization followed by percentile-based filtering to retain only statistically significant gradient components. This selective perturbation aligns updates with curvature-sensitive directions, enhancing generalization without requiring architectural changes. ZSharp introduces only one additional hyperparameter, the percentile threshold, and remains fully compatible with existing SAM variants. Experiments on CIFAR-10, CIFAR-100, and Tiny-ImageNet using ResNet, VGG, and Vision Transformers show that ZSharp consistently outperforms SAM and its variants in test accuracy, particularly on deeper and transformer-based models. These results demonstrate that ZSharp is a principled and lightweight improvement for sharpness-aware optimization.
• Abstract（参考訳）: ディープニューラルネットワークでうまく一般化することは、特にロバスト性を低下させるシャープなミニマに収束する傾向にあるため、依然として重要な課題である。 シャープネス・アウェアの最小化(SAM)は、統計的に重要な方向を含む完全な勾配を用いて、より平坦な最小値を求めることによってこれを緩和する。 ZSharp は SAM への単純かつ効果的な拡張であり,層ワイドなZスコア正規化とパーセンタイルに基づくフィルタリングを適用し,統計的に有意な勾配成分のみを保持する。 この選択的摂動は、更新を曲率に敏感な方向と整合させ、アーキテクチャの変更を必要とせずに一般化を強化する。 ZSharpは1つの追加のハイパーパラメータ、パーセンタイルしきい値を導入し、既存のSAM亜種と完全に互換性を維持している。 CIFAR-10、CIFAR-100、Tiny-ImageNetでのResNet、VGG、Vision Transformersを用いた実験では、ZSharpはSAMとその変種をテスト精度、特に深層およびトランスフォーマーベースのモデルで一貫して上回っている。 これらの結果は、ZSharpはシャープネスを意識した最適化のための原則的で軽量な改善であることを示している。

関連論文リスト

• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
  Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。 特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:46:29Z)
• Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
  シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T08:05:46Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。