論文の概要: Sharpness-Aware Minimization: General Analysis and Improved Rates
- arxiv url: http://arxiv.org/abs/2503.02225v1
- Date: Tue, 04 Mar 2025 03:04:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:21:55.017754
- Title: Sharpness-Aware Minimization: General Analysis and Improved Rates
- Title（参考訳）: シャープネスを意識した最小化:一般分析と改善率
- Authors: Dimitris Oikonomou, Nicolas Loizou,
- Abstract要約: Sharpness-Aware Minimization (SAM) は機械学習モデルの一般化を改善する強力な方法として登場した。
本稿では,SAMとその非正規化変動規則(USAM)を1回の更新で解析する。
我々は、より自然に緩和された仮定の下で、新しいサイズの結果を示す。
- 参考スコア（独自算出の注目度）: 10.11126899274029
- License:
- Abstract: Sharpness-Aware Minimization (SAM) has emerged as a powerful method for improving generalization in machine learning models by minimizing the sharpness of the loss landscape. However, despite its success, several important questions regarding the convergence properties of SAM in non-convex settings are still open, including the benefits of using normalization in the update rule, the dependence of the analysis on the restrictive bounded variance assumption, and the convergence guarantees under different sampling strategies. To address these questions, in this paper, we provide a unified analysis of SAM and its unnormalized variant (USAM) under one single flexible update rule (Unified SAM), and we present convergence results of the new algorithm under a relaxed and more natural assumption on the stochastic noise. Our analysis provides convergence guarantees for SAM under different step size selections for non-convex problems and functions that satisfy the Polyak-Lojasiewicz (PL) condition (a non-convex generalization of strongly convex functions). The proposed theory holds under the arbitrary sampling paradigm, which includes importance sampling as special case, allowing us to analyze variants of SAM that were never explicitly considered in the literature. Experiments validate the theoretical findings and further demonstrate the practical effectiveness of Unified SAM in training deep neural networks for image classification tasks.
- Abstract（参考訳）: シャープネス認識最小化(SAM)は、ロスランドスケープのシャープネスを最小化し、機械学習モデルの一般化を改善する強力な方法として登場した。
しかし、その成功にもかかわらず、非凸状態におけるSAMの収束性に関するいくつかの重要な質問は、更新規則における正規化の利点、制限的有界分散仮定に対する解析の依存性、異なるサンプリング戦略の下での収束保証など、まだオープンである。
これらの問題に対処するため,本研究では, 1つのフレキシブルな更新規則 (Unified SAM) の下でSAMとその非正規化変種 (USAM) を統一的に解析し,確率的雑音に対する緩和的,より自然な仮定の下で,新しいアルゴリズムの収束結果を示す。
我々の解析は、ポリーク・ロジャシエヴィチ(PL)条件を満たす非凸問題と関数(強凸関数の非凸一般化)に対して、異なるステップサイズ選択の下でSAMの収束保証を提供する。
提案理論は、特別な場合として重要サンプリングを含む任意のサンプリングパラダイムに基づいており、文献で明確に考慮されなかったSAMの変種を解析することができる。
画像分類タスクのための深層ニューラルネットワークのトレーニングにおいて、理論的な結果を検証するとともに、Unified SAMの実用的効果を示す実験を行った。
関連論文リスト
- Avoiding spurious sharpness minimization broadens applicability of SAM [13.21265875272573]
シャープネス・アウェア・最小化(SAM)のような曲率正規化技術は、視覚タスクの一般化を改善する上で非常に有望である。
SAMは自然言語処理(NLP)のようなドメインではパフォーマンスが悪く、計算予算の2倍であっても、パフォーマンスが劣化することがよくあります。
そこで我々は,関数の統計量を変更することでのみ曲率を正規化する関数SAMというアルゴリズムを開発した。
論文 参考訳（メタデータ） (2025-02-04T15:25:47Z) - Preconditioned Sharpness-Aware Minimization: Unifying Analysis and a Novel Learning Algorithm [39.656014609027494]
シャープネスを意識した最小化(SAM)は、ディープニューラルネットワークベースの学習の一般化性を改善する強力なツールとして登場した。
この寄与はプリコンディショニング(pre)を利用してSAM変種を統一し、統一収束解析だけでなく、貴重な洞察を提供する。
informationSAMと呼ばれる新しいアルゴリズムを導入し、ノイズ推定による勾配の調整によりSAMのいわゆる逆モデル劣化問題に対処する。
論文 参考訳（メタデータ） (2025-01-11T18:05:33Z) - Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
異常セグメンテーションのための textbfSelf-textbfPerceptinon textbfTuning (textbfSPT) 法を提案する。
SPT法は, 自己描画型チューニング戦略を取り入れ, 異常マスクの初期粗いドラフトを生成し, 精製処理を行う。
論文 参考訳（メタデータ） (2024-11-26T08:33:25Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。
鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。
本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
論文 参考訳（メタデータ） (2024-07-24T12:00:30Z) - A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。
これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
論文 参考訳（メタデータ） (2024-06-06T01:52:09Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。
SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-07T08:05:46Z) - AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning
Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。
AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。
いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
論文 参考訳（メタデータ） (2023-03-01T15:12:42Z) - Single-Call Stochastic Extragradient Methods for Structured Non-monotone
Variational Inequalities: Improved Analysis under Weaker Conditions [21.681130192954583]
シングルコール・エクストラグラディエント法は、大規模なmin-max最適化問題を解くための最も効率的なアルゴリズムの1つである。
i)準強単調問題(強単調問題の一般化)と(ii)弱ミンティ変分不等式(単調とミニティVIPの一般化)の2つのクラスに対して収束保証を提供する。
我々の収束分析は、重要なサンプリングと様々なミニバッチ戦略を特別な場合として含む任意のサンプリングパラダイムの下で成り立っている。
論文 参考訳（メタデータ） (2023-02-27T18:53:28Z) - On Statistical Properties of Sharpness-Aware Minimization: Provable
Guarantees [5.91402820967386]
シャープネス・アウェアの最小化 (SAM) が一般化する理由について, 新たな理論的説明を行う。
SAMはシャープな問題と非シャープな問題の両方に特に適している。
本研究は,ディープニューラルネットワークを用いた数値実験により検証した。
論文 参考訳（メタデータ） (2023-02-23T07:52:31Z) - Stochastic Extragradient: General Analysis and Improved Rates [23.29653334470774]
Extragradient (SEG) 法は、min-max最適化と変分不等式問題を解くための最も一般的なアルゴリズムの1つである。
我々は,SEGのいくつかの変種を統一的に解析できる新しい理論フレームワークを開発した。
新たなSEG変種に対する我々のレートは、現在の最先端収束保証よりも優れており、制約の少ない仮定に依存している。
論文 参考訳（メタデータ） (2021-11-16T16:49:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。