Fugu-MT 論文翻訳(概要): Sharpness-Aware Minimization with Z-Score Gradient Filtering

論文の概要: Sharpness-Aware Minimization with Z-Score Gradient Filtering

arxiv url: http://arxiv.org/abs/2505.02369v5
Date: Mon, 29 Sep 2025 01:46:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-30 17:47:08.916759
Title: Sharpness-Aware Minimization with Z-Score Gradient Filtering
Title（参考訳）: Zスコア勾配フィルタによるシャープネス認識最小化
Authors: Vincent-Daniel Yun,
Abstract要約: シャープネス・アウェアの最小化は、高い曲率の方向に向かってパラメータを摂動することで一般化を改善する。本稿では,Zスコアに基づくフィルタを各層の勾配に適用するZスコアフィルタ型シャープネス認識最小化を提案する。提案手法はシャープネス・アウェア・最小化とその変種と比較してテスト精度を一貫して向上する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Deep neural networks achieve high performance across many domains but can still face challenges in generalization when optimization is influenced by small or noisy gradient components. Sharpness-Aware Minimization improves generalization by perturbing parameters toward directions of high curvature, but it uses the entire gradient vector, which means that small or noisy components may affect the ascent step and cause the optimizer to miss optimal solutions. We propose Z-Score Filtered Sharpness-Aware Minimization, which applies Z-score based filtering to gradients in each layer. Instead of using all gradient components, a mask is constructed to retain only the top percentile with the largest absolute Z-scores. The percentile threshold $Q_p$ determines how many components are kept, so that the ascent step focuses on directions that stand out most compared to the average of the layer. This selective perturbation refines the search toward flatter minima while reducing the influence of less significant gradients. Experiments on CIFAR-10, CIFAR-100, and Tiny-ImageNet with architectures including ResNet, VGG, and Vision Transformers show that the proposed method consistently improves test accuracy compared to Sharpness-Aware Minimization and its variants. The code repository is available at: https://github.com/YUNBLAK/Sharpness-Aware-Minimization-with-Z-Score-Gradient-Filtering
Abstract（参考訳）: ディープニューラルネットワークは多くのドメインで高いパフォーマンスを達成するが、最適化が小さなあるいはノイズの多い勾配成分の影響を受ければ、一般化の課題に直面する可能性がある。シャープネス・アウェアの最小化は、パラメータを高い曲率の方向に向かって摂動することで一般化を改善するが、勾配ベクトル全体を使用する。本稿では,Zスコアに基づくフィルタを各層の勾配に適用するZスコアフィルタ型シャープネス認識最小化を提案する。すべての勾配成分を使用する代わりに、マスクは最大の絶対Zスコアを持つトップパーセンタイルのみを保持するように構成される。パーセンタイル閾値$Q_p$は、どれだけのコンポーネントが保持されているかを決定するので、上昇ステップは、レイヤの平均よりも最も目立つ方向に焦点を当てる。この選択的摂動は、より顕著な勾配の影響を低減しつつ、より平坦なミニマへの探索を洗練させる。 The experiments on CIFAR-10, CIFAR-100, Tiny-ImageNet with architecturesNet, VGG, Vision Transformers shows that this proposed method is consistent improve test accuracy than Sharpness-Aware Minimization and its variants。 https://github.com/YUNBLAK/Sharpness-Aware-Minimization-with-Z-Score-Gradient-Filtering

関連論文リスト

GCSAM: Gradient Centralized Sharpness Aware Minimization [45.05109291721135]
シャープネス認識最小化(SAM)は、ロスランドスケープのシャープネスを低減するための効果的な最適化手法として登場した。本稿では、勾配集中化(GC)を組み込んで収束を安定化・加速するグラディエント・シャープネス・アウェア最小化(GCSAM)を提案する。 GCSAMは、一般化と計算効率の点でSAMとAdamを一貫して上回っている。
論文参考訳（メタデータ） (2025-01-20T16:42:31Z)
Mitigating Gradient Overlap in Deep Residual Networks with Gradient Normalization for Improved Non-Convex Optimization [0.0]
ディープラーニングにおいて、Residual Networks(ResNets)は、消滅する問題に対処する上で有効であることが証明されている。 ResNetのスキップ接続はオーバーラップし、学習した変換とスキップ接続がグラデーションで結合される。重なりを管理する手法としてZ-score Normalization (ZNorm) を検討した。
論文参考訳（メタデータ） (2024-10-28T21:54:44Z)
Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。高速グラフシャープネス認識最小化(FGSAM)を提案する。提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
論文参考訳（メタデータ） (2024-10-22T09:33:29Z)
Friendly Sharpness-Aware Minimization [62.57515991835801]
シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
論文参考訳（メタデータ） (2024-03-19T01:39:33Z)
CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
論文参考訳（メタデータ） (2023-12-21T03:46:29Z)
Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文参考訳（メタデータ） (2023-06-30T09:33:41Z)
Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-07T08:05:46Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Sharpness-Aware Training for Free [163.1248341911413]
シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
論文参考訳（メタデータ） (2022-05-27T16:32:43Z)
Gradient Correction beyond Gradient Descent [63.33439072360198]
勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
論文参考訳（メタデータ） (2022-03-16T01:42:25Z)
Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
論文参考訳（メタデータ） (2021-10-07T02:20:37Z)
Stochastic Gradient Variance Reduction by Solving a Filtering Problem [0.951828574518325]
ディープニューラルネットワーク(DNN)は一般的に最適化された勾配降下(SGD)を用いる試料を用いた勾配推定はノイズが多く信頼性が低い傾向にあり, 勾配のばらつきが大きく, 収束不良が生じる。勾配を一貫した推定を行う効率的な最適化アルゴリズムである textbfFilter Gradient Decent (FGD) を提案する。
論文参考訳（メタデータ） (2020-12-22T23:48:42Z)
AdaDGS: An adaptive black-box optimization method with a nonlocal directional Gaussian smoothing gradient [3.1546318469750196]
方向性ガウススムースティング(DGS)アプローチは(Zhang et al., 2020)で最近提案され、高次元ブラックボックス最適化のためにDGS勾配と呼ばれる真の非局所勾配を定義するために使用された。 DGSグラデーションを用いた簡易かつ創発的かつ効率的な最適化手法を提案し,超パラメータ微調整の必要性を排除した。
論文参考訳（メタデータ） (2020-11-03T21:20:25Z)
Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
論文参考訳（メタデータ） (2020-10-21T02:13:26Z)
Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文参考訳（メタデータ） (2020-08-25T00:44:09Z)
Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
論文参考訳（メタデータ） (2020-06-16T17:55:46Z)
Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。我々は、新しい空間演算子:ランダムトップk演算子を導入する。我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。