論文の概要: Improving SAM Requires Rethinking its Optimization Formulation

• arxiv url: http://arxiv.org/abs/2407.12993v1
• Date: Wed, 17 Jul 2024 20:22:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 19:33:23.283228
• Title: Improving SAM Requires Rethinking its Optimization Formulation
• Title（参考訳）: SAMの改善は最適化の定式化を再考する必要がある
• Authors: Wanyun Xie, Fabian Latorre, Kimon Antonakopoulos, Thomas Pethick, Volkan Cevher,
• Abstract要約: Sharpness-Aware Minimization (SAM) は、もともとネットワークの重みと有界摂動がそれぞれ同じ差分損失を最小/最大化しようとするゼロサムゲームとして定式化されている。 我々は SAM を 0-1 の損失を用いて再定式化すべきであると主張する。連続緩和として、最小化(最大化)プレイヤーが 0-1 の損失に対して上界(より下界)をサロゲートする単純なアプローチに従う。これは BiSAM と呼ばれる双レベル最適化問題として SAM の新たな定式化につながる。
• 参考スコア（独自算出の注目度）: 57.601718870423454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper rethinks Sharpness-Aware Minimization (SAM), which is originally formulated as a zero-sum game where the weights of a network and a bounded perturbation try to minimize/maximize, respectively, the same differentiable loss. To fundamentally improve this design, we argue that SAM should instead be reformulated using the 0-1 loss. As a continuous relaxation, we follow the simple conventional approach where the minimizing (maximizing) player uses an upper bound (lower bound) surrogate to the 0-1 loss. This leads to a novel formulation of SAM as a bilevel optimization problem, dubbed as BiSAM. BiSAM with newly designed lower-bound surrogate loss indeed constructs stronger perturbation. Through numerical evidence, we show that BiSAM consistently results in improved performance when compared to the original SAM and variants, while enjoying similar computational complexity. Our code is available at https://github.com/LIONS-EPFL/BiSAM.
• Abstract（参考訳）: 本稿では,ネットワークの重み付けと有界摂動がそれぞれ同じ差分損失を最小化/最大化しようとするゼロサムゲームとして当初定式化されたシャープネス・アウェア最小化(SAM)を再考する。 この設計を根本的に改善するために、SAM は 0-1 の損失を用いて再設計されるべきである、と論じる。 連続緩和として、最小化(最大化)プレイヤーが0-1損失に対して上界(より下界)を代理する単純なアプローチに従う。 これにより、BiSAMと呼ばれる二段階最適化問題としてSAMの新たな定式化がもたらされる。 新しく設計された低いサロゲート損失を持つBiSAMは、確かに強い摂動を構成する。 数値的なエビデンスから、BiSAMはオリジナルのSAMや変種と比較して、同様の計算複雑性を享受しながら、常に性能が向上することを示した。 私たちのコードはhttps://github.com/LIONS-EPFL/BiSAM.comから入手可能です。

関連論文リスト

• SAMPa: Sharpness-aware Minimization Parallelized [51.668052890249726]
  シャープネス認識(SAM)はニューラルネットワークの一般化を改善することが示されている。 SAMの更新には2つの勾配を瞬時に計算する必要がある。 我々は,SAMPaと呼ばれるSAMの簡単な修正を提案し,この2つの勾配計算を完全に並列化することができる。
  論文  参考訳（メタデータ） (2024-10-14T16:21:23Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Sharpness-Aware Minimization Alone can Improve Adversarial Robustness [7.9810915020234035]
  敵の強靭性の観点から,シャープネス・アウェアの最小化(SAM)について検討する。 その結果,SAMのみを用いることで,通常の訓練に比べてクリーンな精度を犠牲にすることなく,対向ロバスト性を向上できることがわかった。 SAMと対人訓練(AT)は摂動強度の点で異なることが示され、精度と頑健さのトレードオフが異なっている。
  論文  参考訳（メタデータ） (2023-05-09T12:39:21Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Surrogate Gap Minimization Improves Sharpness-Aware Training [52.58252223573646]
  Surrogate textbfGap Guided textbfSharpness-textbfAware textbfMinimization (GSAM)は、Sharpness-Aware Minimization (SAM)に対する新しい改善であり、計算オーバーヘッドが無視できる。 GSAMは小さい損失(ステップ1)と低いシャープネス(ステップ2)の両方の領域を求め、高い一般化能力を持つモデルを生み出す。
  論文  参考訳（メタデータ） (2022-03-15T16:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。