論文の概要: Towards Understanding The Calibration Benefits of Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2505.23866v1
• Date: Thu, 29 May 2025 09:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.584432
• Title: Towards Understanding The Calibration Benefits of Sharpness-Aware Minimization
• Title（参考訳）: シャープネスを意識した最小化の校正効果の理解に向けて
• Authors: Chengli Tan, Yubo Zhou, Haishan Ye, Guang Dai, Junmin Liu, Zengjie Song, Jiangshe Zhang, Zixiang Zhao, Yunda Hao, Yong Xu,
• Abstract要約: ディープニューラルネットワークは、医療診断や自律運転といった安全クリティカルな応用にますます利用されてきた。 多くの研究は、校正が不十分で、過剰な自信を持つ傾向があり、破滅的な結果をもたらす可能性があることを示唆している。 最近提案されたシャープネス認識最小化(SAM)は、この過信に対する傾向に反することを示す。 モデルキャリブレーションを改善するために, CSAM と呼ばれる SAM の変種を提案する。
• 参考スコア（独自算出の注目度）: 21.747141953620698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have been increasingly used in safety-critical applications such as medical diagnosis and autonomous driving. However, many studies suggest that they are prone to being poorly calibrated and have a propensity for overconfidence, which may have disastrous consequences. In this paper, unlike standard training such as stochastic gradient descent, we show that the recently proposed sharpness-aware minimization (SAM) counteracts this tendency towards overconfidence. The theoretical analysis suggests that SAM allows us to learn models that are already well-calibrated by implicitly maximizing the entropy of the predictive distribution. Inspired by this finding, we further propose a variant of SAM, coined as CSAM, to ameliorate model calibration. Extensive experiments on various datasets, including ImageNet-1K, demonstrate the benefits of SAM in reducing calibration error. Meanwhile, CSAM performs even better than SAM and consistently achieves lower calibration error than other approaches
• Abstract（参考訳）: ディープニューラルネットワークは、医療診断や自律運転といった安全クリティカルな応用にますます利用されてきた。 しかし、多くの研究は、校正が不十分で、過剰な自信を持つ傾向があり、破滅的な結果をもたらす可能性があることを示唆している。 本稿では,確率勾配降下のような標準的な訓練とは異なり,最近提案されたシャープネス認識最小化(SAM)が,この過信傾向に反することを示す。 理論解析から,SAMは予測分布のエントロピーを暗黙的に最大化することにより,既によく校正されているモデルを学習することができることが示唆された。 この発見に触発されて、モデルキャリブレーションを改善するために CSAM と呼ばれる SAM の変種をさらに提案する。 ImageNet-1Kを含むさまざまなデータセットに対する大規模な実験は、キャリブレーションエラーを減らすSAMの利点を実証している。 一方、CSAMはSAMよりも優れており、他のアプローチよりも低いキャリブレーション誤差を一貫して達成している。

関連論文リスト

• LightSAM: Parameter-Agnostic Sharpness-Aware Minimization [92.17866492331524]
  シャープネス・アウェアの最小化(SAM)は、重量摂動を通して平らなミニマランドスケープを探索することにより、機械学習モデルの能力を高める。 SAMはさらなるハイパーパラメータ、摂動半径を導入し、SAMの感度を誘導する。 本稿では,SAMの摂動半径と学習速度を適応的に設定するアルゴリズムLightSAMを提案する。
  論文  参考訳（メタデータ） (2025-05-30T09:28:38Z)
• Focal-SAM: Focal Sharpness-Aware Minimization for Long-Tailed Classification [113.6840565194525]
  実世界のデータセットは長い尾の分布に従うことが多く、尾のクラスへの一般化は困難である。 近年,ロスランドスケープを平坦化して一般化を改善するため,シャープネス・アウェア最小化法 (SAM) の長尾変種を利用した手法が提案されている。 クラスごとに異なる罰則を割り当てるFocal-SAMを導入し、余分なバックプロパゲーションを伴わずにきめ細かい制御を実現する。
  論文  参考訳（メタデータ） (2025-05-03T03:01:28Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy [12.050160495730381]
  SAM ( sharpness-aware generalization) は性能向上に驚くべき効果があることから注目されている。 本稿では, 安定SAM (SSAM) と呼ばれる単純な再正規化戦略を提案する。 我々の戦略は実装が容易で、SAMとその変種と統合するのに十分な柔軟性があり、ほとんど計算コストがかからない。
  論文  参考訳（メタデータ） (2024-01-14T10:53:36Z)
• Critical Influence of Overparameterization on Sharpness-aware Minimization [12.321517302762558]
  本研究は,シャープネス認識最小化(SAM)がオーバーパラメータ化に影響を及ぼすことを示す。 この効果は, ラベルノイズやスパシティなど, 実用的な環境下では特に顕著である。 また、パラメータ化の超越がSAMがSGDと比較してより均一なヘッセンモーメントでミニマを達成するのにどう役立つかについての洞察も提供する。
  論文  参考訳（メタデータ） (2023-11-29T11:19:50Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)
• On Statistical Properties of Sharpness-Aware Minimization: Provable Guarantees [5.91402820967386]
  シャープネス・アウェアの最小化 (SAM) が一般化する理由について, 新たな理論的説明を行う。 SAMはシャープな問題と非シャープな問題の両方に特に適している。 本研究は,ディープニューラルネットワークを用いた数値実験により検証した。
  論文  参考訳（メタデータ） (2023-02-23T07:52:31Z)
• How Does Sharpness-Aware Minimization Minimize Sharpness? [29.90109733192208]
  シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークの一般化を改善するための非常に効果的な正規化手法である。 本稿では、SAMが基礎となるメカニズムを規則化し、明確化するという正確なシャープネスの概念を厳格に説明する。
  論文  参考訳（メタデータ） (2022-11-10T17:56:38Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。