論文の概要: Why is SAM Robust to Label Noise?

• arxiv url: http://arxiv.org/abs/2405.03676v1
• Date: Mon, 6 May 2024 17:52:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 12:46:34.784463
• Title: Why is SAM Robust to Label Noise?
• Title（参考訳）: なぜSAMはラベルノイズにロバストなのか?
• Authors: Christina Baek, Zico Kolter, Aditi Raghunathan,
• Abstract要約: Sharpness-Aware Minimization (SAM)は、自然言語処理や自然言語処理における最先端のパフォーマンスを実現することで最もよく知られている。 SAMのロバスト性は、ロジット項の変化によって引き起こされるものと、ネットワークジャコビアンの変化によって引き起こされるものである。 より深いネットワークにおけるSAMの効果は、代わりに、SAMがネットワークジャコビアンに与える影響によって完全に説明される。
• 参考スコア（独自算出の注目度）: 18.928443078344774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-Aware Minimization (SAM) is most known for achieving state-of the-art performances on natural image and language tasks. However, its most pronounced improvements (of tens of percent) is rather in the presence of label noise. Understanding SAM's label noise robustness requires a departure from characterizing the robustness of minimas lying in "flatter" regions of the loss landscape. In particular, the peak performance under label noise occurs with early stopping, far before the loss converges. We decompose SAM's robustness into two effects: one induced by changes to the logit term and the other induced by changes to the network Jacobian. The first can be observed in linear logistic regression where SAM provably up-weights the gradient contribution from clean examples. Although this explicit up-weighting is also observable in neural networks, when we intervene and modify SAM to remove this effect, surprisingly, we see no visible degradation in performance. We infer that SAM's effect in deeper networks is instead explained entirely by the effect SAM has on the network Jacobian. We theoretically derive the implicit regularization induced by this Jacobian effect in two layer linear networks. Motivated by our analysis, we see that cheaper alternatives to SAM that explicitly induce these regularization effects largely recover the benefits in deep networks trained on real-world datasets.
• Abstract（参考訳）: SAM(Sharpness-Aware Minimization)は、自然画像や言語タスクにおける最先端のパフォーマンスを実現することで最もよく知られている。 しかし、最も顕著な改善(数十パーセント)はラベルノイズの存在にある。 SAMのラベルノイズの頑健さを理解するには、損失景観の「平らな」領域に横たわっているミニマの頑健さを特徴付けることから離れる必要がある。 特に、損失が収束するずっと前に、ラベルノイズ下でのピーク性能は早期に停止する。 SAMのロバスト性は、ロジット項の変化によって引き起こされるものと、ネットワークジャコビアンの変化によって引き起こされるものである。 第一は線形ロジスティック回帰(英語版)において観察でき、SAMはクリーンな例から勾配寄与を確実に上向きにする。 この明示的なアップウェイト化はニューラルネットワークでも観測可能であるが、SAMを介入して修正してこの効果を取り除くと、驚くべきことに、パフォーマンスの目に見える劣化は見られない。 より深いネットワークにおけるSAMの効果は、代わりに、SAMがネットワークジャコビアンに与える影響によって完全に説明される。 理論的には、2層線形ネットワークにおけるこのジャコビアン効果によって誘導される暗黙の正則化を導出する。 我々の分析により、これらの規則化効果を明示的に誘発するSAMの安価な代替手段が、現実世界のデータセットでトレーニングされたディープネットワークの利点を大いに回復することがわかった。

関連論文リスト

• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Sharpness-Aware Minimization Enhances Feature Quality via Balanced Learning [17.708350046115616]
  シャープネス・アウェア最小化(SAM)は勾配降下(SGD)に代わる有望な代替手段として登場した。 SAM はこの効果を,学習機会の残余となる特徴を適応的に抑制することで実現していることを示す。 我々の洞察は、CelebA、Waterbirds、CIFAR-MNIST、DomainBedといった実データの実験によって裏付けられている。
  論文  参考訳（メタデータ） (2024-05-30T19:32:56Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Why Does Sharpness-Aware Minimization Generalize Better Than SGD? [102.40907275290891]
  シャープネス・アウェアの最小化(SAM)がデータモデルや2層畳み込みReLUネットワークに対してグラディエントDescent(SGD)よりも優れていることを示す。 その結果,SAMの利点,特に早期の雑音学習を防止し,特徴のより効果的な学習を容易にする能力について解説した。
  論文  参考訳（メタデータ） (2023-10-11T07:51:10Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• SAM operates far from home: eigenvalue regularization as a dynamical phenomenon [15.332235979022036]
  シャープネス認識最小化(SAM)アルゴリズムは、ロス・ヘッセンの大きな固有値を制御することが示されている。 SAMは学習軌跡全体を通して固有値の強い正規化を提供することを示す。 本理論は,学習速度とSAM半径パラメータの関数として最大固有値を予測する。
  論文  参考訳（メタデータ） (2023-02-17T04:51:20Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。