論文の概要: VASSO: Variance Suppression for Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2509.02433v1
• Date: Tue, 02 Sep 2025 15:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:04.087286
• Title: VASSO: Variance Suppression for Sharpness-Aware Minimization
• Title（参考訳）: VASSO:シャープネス認識最小化のための可変抑制
• Authors: Bingcong Li, Yilang Zhang, Georgios B. Giannakis,
• Abstract要約: シャープネスを意識した最小化(SAM)は、ディープニューラルネットワークモデルの一般化を促進する上で、十分に文書化されたメリットがある。 変動抑制(VASSO)による敵の安定化の促進 VASSOは、敵を確実に安定させる一般的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 41.28925127311434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-aware minimization (SAM) has well-documented merits in enhancing generalization of deep neural network models. Accounting for sharpness in the loss function geometry, where neighborhoods of `flat minima' heighten generalization ability, SAM seeks `flat valleys' by minimizing the maximum loss provoked by an adversarial perturbation within the neighborhood. Although critical to account for sharpness of the loss function, in practice SAM suffers from `over-friendly adversaries,' which can curtail the outmost level of generalization. To avoid such `friendliness,' the present contribution fosters stabilization of adversaries through variance suppression (VASSO). VASSO offers a general approach to provably stabilize adversaries. In particular, when integrating VASSO with SAM, improved generalizability is numerically validated on extensive vision and language tasks. Once applied on top of a computationally efficient SAM variant, VASSO offers a desirable generalization-computation tradeoff.
• Abstract（参考訳）: シャープネスを意識した最小化(SAM)は、ディープニューラルネットワークモデルの一般化を促進する上で、十分に文書化されたメリットがある。 損失関数幾何学において「平坦なミニマ」の近傍が一般化能力を高める場合の鋭さを考慮し、SAMは、近隣の対向的摂動によって引き起こされる最大損失を最小化して「平坦な谷」を求める。 損失関数のシャープさを考慮に入れることが重要であるが、実際にはSAMは「過剰に友好的な敵」に苦しむため、一般化の極端なレベルを縮めることができる。 このような「友情」を避けるため、このコントリビューションは、分散抑制(VASSO)を通じて敵の安定化を促進する。 VASSOは、敵を確実に安定させる一般的なアプローチを提供する。 特に、VASSOとSAMを統合する場合、広範囲な視覚と言語タスクにおいて、一般化性の向上が数値的に検証される。 計算効率の良いSAM変種の上に一度適用すると、VASSOは望ましい一般化計算のトレードオフを提供する。

関連論文リスト

• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Enhancing Sharpness-Aware Optimization Through Variance Suppression [48.908966673827734]
  この研究は損失関数の幾何学を取り入れ、そこでは「平坦なミニマ」の近傍が一般化能力を高める。 地区内の敵対的な摂動パラメータによる最大損失を最小化することで「平坦な谷」を求める。 損失関数のシャープさを考慮に入れることが重要であるが、そのような「過剰にフレンドリーな敵」は極端に一般化のレベルを縮めることができる。
  論文  参考訳（メタデータ） (2023-09-27T13:18:23Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [2.8292841621378844]
  スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。 本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。 各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
  論文  参考訳（メタデータ） (2021-02-23T10:26:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。