論文の概要: SSE-SAM: Balancing Head and Tail Classes Gradually through Stage-Wise SAM

• arxiv url: http://arxiv.org/abs/2412.13715v1
• Date: Wed, 18 Dec 2024 10:53:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:23:39.497254
• Title: SSE-SAM: Balancing Head and Tail Classes Gradually through Stage-Wise SAM
• Title（参考訳）: SSE-SAM:Stage-Wise SAMを通して頭と足のバランスをとる
• Authors: Xingyu Lyu, Qianqian Xu, Zhiyong Yang, Shaojie Lyu, Qingming Huang,
• Abstract要約: 長い尾のシナリオにおける一般化を改善するには、頭と尾のクラス間の注意深いバランスが必要であると論じる。 SAMもImbSAMもこのバランスを完全に達成できないことを示す。 ImbSAMとSAMの相補的な強度を段階的アプローチで利用したSSE-SAM(Stage-wise Saddle Escaping SAM)を提案する。
• 参考スコア（独自算出の注目度）: 82.27086968525381
• License:
• Abstract: Real-world datasets often exhibit a long-tailed distribution, where vast majority of classes known as tail classes have only few samples. Traditional methods tend to overfit on these tail classes. Recently, a new approach called Imbalanced SAM (ImbSAM) is proposed to leverage the generalization benefits of Sharpness-Aware Minimization (SAM) for long-tailed distributions. The main strategy is to merely enhance the smoothness of the loss function for tail classes. However, we argue that improving generalization in long-tail scenarios requires a careful balance between head and tail classes. We show that neither SAM nor ImbSAM alone can fully achieve this balance. For SAM, we prove that although it enhances the model's generalization ability by escaping saddle point in the overall loss landscape, it does not effectively address this for tail-class losses. Conversely, while ImbSAM is more effective at avoiding saddle points in tail classes, the head classes are trained insufficiently, resulting in significant performance drops. Based on these insights, we propose Stage-wise Saddle Escaping SAM (SSE-SAM), which uses complementary strengths of ImbSAM and SAM in a phased approach. Initially, SSE-SAM follows the majority sample to avoid saddle points of the head-class loss. During the later phase, it focuses on tail-classes to help them escape saddle points. Our experiments confirm that SSE-SAM has better ability in escaping saddles both on head and tail classes, and shows performance improvements.
• Abstract（参考訳）: 現実世界のデータセットはしばしば長い尾の分布を示し、テールクラスとして知られるほとんどのクラスはサンプルしか持っていない。 伝統的なメソッドは、これらのテールクラスに過度に適合する傾向があります。 近年,Im Balanced SAM (ImbSAM) と呼ばれる新しい手法が提案され,シャープネス・アウェア・最小化(SAM)の一般化の利点を長期分布に適用している。 主な戦略は、単にテールクラスの損失関数の滑らかさを高めることである。 しかし、長い尾のシナリオにおける一般化の改善には、頭と尾のクラス間の注意深いバランスが必要であると論じる。 SAMもImbSAMもこのバランスを完全に達成できないことを示す。 SAMでは、全体の損失状況において、サドル点を逃がすことによってモデルの一般化能力を高めるが、テールクラスの損失に対して効果的に対処するものではないことを証明している。 逆に、ImbSAMはテールクラスのサドルポイントを避けるのに効果的であるが、ヘッドクラスは不十分に訓練され、パフォーマンスが大幅に低下する。 これらの知見に基づいて,ImbSAM と SAM の相補的強度を利用した段階的サドルエスケープSAM (SSE-SAM) を提案する。 当初、SSE-SAMは、ヘッドクラスの損失のサドルポイントを避けるために、大多数のサンプルに従っていた。 後半の段階では、サドルポイントから脱出するのに役立つテールクラスに焦点を当てている。 実験により,SSE-SAMは頭と尾の両方でサドルを脱出する能力が向上し,性能が向上したことを確認した。

関連論文リスト

• Sharpness-Aware Minimization Efficiently Selects Flatter Minima Late in Training [47.25594539120258]
  Sharpness-Aware Minimization (SAM) はトレーニングの遅滞時に効率よくフラットなミニマを選択する。 SAMの訓練の終わりに応用されたいくつかのエポックでさえ、完全なSAMトレーニングとほぼ同じ一般化と解のシャープネスをもたらす。 我々は、最終解の物性を形作る上で、最終相で選択した最適化法がより重要であると推測する。
  論文  参考訳（メタデータ） (2024-10-14T10:56:42Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Improving SAM Requires Rethinking its Optimization Formulation [57.601718870423454]
  Sharpness-Aware Minimization (SAM) は、もともとネットワークの重みと有界摂動がそれぞれ同じ差分損失を最小/最大化しようとするゼロサムゲームとして定式化されている。 我々は SAM を 0-1 の損失を用いて再定式化すべきであると主張する。連続緩和として、最小化(最大化)プレイヤーが 0-1 の損失に対して上界(より下界)をサロゲートする単純なアプローチに従う。これは BiSAM と呼ばれる双レベル最適化問題として SAM の新たな定式化につながる。
  論文  参考訳（メタデータ） (2024-07-17T20:22:33Z)
• Sharpness-Aware Minimization Enhances Feature Quality via Balanced Learning [17.708350046115616]
  シャープネス・アウェア最小化(SAM)は勾配降下(SGD)に代わる有望な代替手段として登場した。 SAM はこの効果を,学習機会の残余となる特徴を適応的に抑制することで実現していることを示す。 我々の洞察は、CelebA、Waterbirds、CIFAR-MNIST、DomainBedといった実データの実験によって裏付けられている。
  論文  参考訳（メタデータ） (2024-05-30T19:32:56Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• ImbSAM: A Closer Look at Sharpness-Aware Minimization in Class-Imbalanced Recognition [62.20538402226608]
  シャープネス・アウェアの最小化(SAM)は,クラス不均衡条件下での一般化問題に対処できないことを示す。 このボトルネックを克服するために,Im Balanced-SAM (ImbSAM) というクラス認識スムーズネス最適化アルゴリズムを提案する。 我々のImbSAMは、テールクラスと異常に対する顕著なパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2023-08-15T14:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。