論文の概要: Forget Sharpness: Perturbed Forgetting of Model Biases Within SAM Dynamics

• arxiv url: http://arxiv.org/abs/2406.06700v1
• Date: Mon, 10 Jun 2024 18:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 20:35:12.740241
• Title: Forget Sharpness: Perturbed Forgetting of Model Biases Within SAM Dynamics
• Title（参考訳）: Forget Sharpness:SAM Dynamics内のモデルバイアスの摂動予測
• Authors: Ankit Vani, Frederick Tung, Gabriel L. Oliveira, Hossein Sharifi-Noghabi,
• Abstract要約: シャープネス・アウェア(SAM)摂動の摂動は, 好ましくないモデルバイアスを排除し, 摂動を良くする学習信号を示す。 本結果は,損失面の平坦性を必要としない代替力学原理によってSAMの利点を説明できることを示唆している。
• 参考スコア（独自算出の注目度）: 10.304082706818562
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite attaining high empirical generalization, the sharpness of models trained with sharpness-aware minimization (SAM) do not always correlate with generalization error. Instead of viewing SAM as minimizing sharpness to improve generalization, our paper considers a new perspective based on SAM's training dynamics. We propose that perturbations in SAM perform perturbed forgetting, where they discard undesirable model biases to exhibit learning signals that generalize better. We relate our notion of forgetting to the information bottleneck principle, use it to explain observations like the better generalization of smaller perturbation batches, and show that perturbed forgetting can exhibit a stronger correlation with generalization than flatness. While standard SAM targets model biases exposed by the steepest ascent directions, we propose a new perturbation that targets biases exposed through the model's outputs. Our output bias forgetting perturbations outperform standard SAM, GSAM, and ASAM on ImageNet, robustness benchmarks, and transfer to CIFAR-{10,100}, while sometimes converging to sharper regions. Our results suggest that the benefits of SAM can be explained by alternative mechanistic principles that do not require flatness of the loss surface.
• Abstract（参考訳）: 高経験的一般化を達成したにもかかわらず、シャープネス認識最小化(SAM)で訓練されたモデルのシャープネスは、必ずしも一般化誤差と相関しない。 そこで本研究では,SAMの学習力学に基づく新たな視点を考察する。 本研究では,SAMにおける摂動が摂動を忘れることを提案する。そこでは,望ましくないモデルバイアスを排除し,より一般化した学習信号を示す。 我々は,情報ボトルネックの原理を忘れることの概念に関連付けるとともに,より小さな摂動バッチのより優れた一般化のような観察を説明するために利用し,摂動を忘れることが平坦性よりもより強い相関を示すことを示す。 標準SAMは、最も急激な上昇方向で露出するモデルバイアスを対象とするが、モデル出力から露出するバイアスを対象とする新しい摂動を提案する。 出力バイアスは、ImageNet上の標準SAM、GSAM、ASAMよりも優れており、ロバスト性ベンチマーク、CIFAR-{10,100}への転送は、時にはよりシャープな領域に収束する。 本結果は,損失面の平坦性を必要としない代替力学原理によってSAMの利点を説明できることを示唆している。

関連論文リスト

• Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems [26.377807940655305]
  この研究は均衡性という概念を導入し、2つの変数の平方ノルムの差として定義される。 我々は,スケール不変問題に適した資源効率のSAM変種である平衡性認識正規化(BAR)を開発した。
  論文  参考訳（メタデータ） (2024-10-18T18:19:18Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Why Does Sharpness-Aware Minimization Generalize Better Than SGD? [102.40907275290891]
  シャープネス・アウェアの最小化(SAM)がデータモデルや2層畳み込みReLUネットワークに対してグラディエントDescent(SGD)よりも優れていることを示す。 その結果,SAMの利点,特に早期の雑音学習を防止し,特徴のより効果的な学習を容易にする能力について解説した。
  論文  参考訳（メタデータ） (2023-10-11T07:51:10Z)
• ImbSAM: A Closer Look at Sharpness-Aware Minimization in Class-Imbalanced Recognition [62.20538402226608]
  シャープネス・アウェアの最小化(SAM)は,クラス不均衡条件下での一般化問題に対処できないことを示す。 このボトルネックを克服するために,Im Balanced-SAM (ImbSAM) というクラス認識スムーズネス最適化アルゴリズムを提案する。 我々のImbSAMは、テールクラスと異常に対する顕著なパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2023-08-15T14:46:32Z)
• Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
  シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T08:05:46Z)
• SAM operates far from home: eigenvalue regularization as a dynamical phenomenon [15.332235979022036]
  シャープネス認識最小化(SAM)アルゴリズムは、ロス・ヘッセンの大きな固有値を制御することが示されている。 SAMは学習軌跡全体を通して固有値の強い正規化を提供することを示す。 本理論は,学習速度とSAM半径パラメータの関数として最大固有値を予測する。
  論文  参考訳（メタデータ） (2023-02-17T04:51:20Z)
• Improved Deep Neural Network Generalization Using m-Sharpness-Aware Minimization [14.40189851070842]
  シャープネス・アウェア最小化(SAM)は、基礎となる損失関数を修正し、フラットなミニマへ導出する方法を導出する。 近年の研究ではmSAMがSAMよりも精度が高いことが示唆されている。 本稿では,様々なタスクやデータセットにおけるmSAMの包括的評価について述べる。
  論文  参考訳（メタデータ） (2022-12-07T00:37:55Z)
• Towards Understanding Sharpness-Aware Minimization [27.666483899332643]
  Sharpness-Aware Minimization (SAM) の成功に対する既存の正当化は、PACBayes の一般化に基づいていると論じる。 対角線ネットワークの暗黙バイアスを理論的に解析する。 SAMで標準モデルを微調整することで、非シャープネットワークの特性を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-13T15:07:32Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。