論文の概要: Sharpness-Aware Minimization Can Hallucinate Minimizers

• arxiv url: http://arxiv.org/abs/2509.21818v1
• Date: Fri, 26 Sep 2025 03:26:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.154322
• Title: Sharpness-Aware Minimization Can Hallucinate Minimizers
• Title（参考訳）: シャープネスを意識した最小化は最小化を幻覚させる
• Authors: Chanwoong Park, Uijeong Jang, Ernest K. Ryu, Insoon Yang,
• Abstract要約: シャープネス・アウェア・ミニマライゼーション(Sharpness-Aware Minimization)は、幻覚最小化器に収束できることを示す。 そこで本研究では,ハロゲン化最小化を避けるための簡易かつ効果的な治療法を提案する。
• 参考スコア（独自算出の注目度）: 26.649846441121227
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sharpness-Aware Minimization (SAM) is a widely used method that steers training toward flatter minimizers, which typically generalize better. In this work, however, we show that SAM can converge to hallucinated minimizers -- points that are not minimizers of the original objective. We theoretically prove the existence of such hallucinated minimizers and establish conditions for local convergence to them. We further provide empirical evidence demonstrating that SAM can indeed converge to these points in practice. Finally, we propose a simple yet effective remedy for avoiding hallucinated minimizers.
• Abstract（参考訳）: Sharpness-Aware Minimization (SAM) は、平らなミニマに向けてトレーニングを行うために広く使われている手法である。 しかし,本研究では,SAM が本来の目的の最小化点ではない幻覚最小化点に収束できることが示されている。 理論的には、このような幻覚最小化器の存在を証明し、それらの局所収束条件を確立する。 さらに、SAMが実際にこれらの点に収束できることを示す実証的な証拠を提供する。 最後に,ハロゲン化最小化器の回避のための簡易かつ効果的な対策を提案する。

関連論文リスト

• Towards Understanding The Calibration Benefits of Sharpness-Aware Minimization [21.747141953620698]
  ディープニューラルネットワークは、医療診断や自律運転といった安全クリティカルな応用にますます利用されてきた。 多くの研究は、校正が不十分で、過剰な自信を持つ傾向があり、破滅的な結果をもたらす可能性があることを示唆している。 最近提案されたシャープネス認識最小化(SAM)は、この過信に対する傾向に反することを示す。 モデルキャリブレーションを改善するために, CSAM と呼ばれる SAM の変種を提案する。
  論文  参考訳（メタデータ） (2025-05-29T09:55:29Z)
• Sharpness-Aware Minimization Efficiently Selects Flatter Minima Late in Training [47.25594539120258]
  Sharpness-Aware Minimization (SAM) はトレーニングの遅滞時に効率よくフラットなミニマを選択する。 SAMの訓練の終わりに応用されたいくつかのエポックでさえ、完全なSAMトレーニングとほぼ同じシャープネスと解のシャープネスをもたらす。 我々は、最終解の物性を形作る上で、最終相で選択した最適化法がより重要であると推測する。
  論文  参考訳（メタデータ） (2024-10-14T10:56:42Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
  シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T08:05:46Z)
• mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization [20.560184120992094]
  シャープネス・アウェアの最小化手法は、フラットな最小化に向けて勾配降下法を操る基本損失関数を変更する。 我々は最近開発されたフラットネス解析のためのよく研究された一般的なフレームワークを拡張し、SAMがSGDよりもフラットなミニマを達成し、mSAMがSAMよりもフラットなミニマを達成できることを理論的に示す。
  論文  参考訳（メタデータ） (2023-02-19T23:27:12Z)
• Surrogate Gap Minimization Improves Sharpness-Aware Training [52.58252223573646]
  Surrogate textbfGap Guided textbfSharpness-textbfAware textbfMinimization (GSAM)は、Sharpness-Aware Minimization (SAM)に対する新しい改善であり、計算オーバーヘッドが無視できる。 GSAMは小さい損失(ステップ1)と低いシャープネス(ステップ2)の両方の領域を求め、高い一般化能力を持つモデルを生み出す。
  論文  参考訳（メタデータ） (2022-03-15T16:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。