論文の概要: ImbSAM: A Closer Look at Sharpness-Aware Minimization in Class-Imbalanced Recognition

• arxiv url: http://arxiv.org/abs/2308.07815v1
• Date: Tue, 15 Aug 2023 14:46:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 12:20:51.496410
• Title: ImbSAM: A Closer Look at Sharpness-Aware Minimization in Class-Imbalanced Recognition
• Title（参考訳）: ImbSAM: クラス不均衡認識におけるシャープネス認識の最小化について
• Authors: Yixuan Zhou, Yi Qu, Xing Xu, Hengtao Shen
• Abstract要約: シャープネス・アウェアの最小化(SAM)は,クラス不均衡条件下での一般化問題に対処できないことを示す。 このボトルネックを克服するために,Im Balanced-SAM (ImbSAM) というクラス認識スムーズネス最適化アルゴリズムを提案する。 我々のImbSAMは、テールクラスと異常に対する顕著なパフォーマンス改善を示す。
• 参考スコア（独自算出の注目度）: 62.20538402226608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class imbalance is a common challenge in real-world recognition tasks, where the majority of classes have few samples, also known as tail classes. We address this challenge with the perspective of generalization and empirically find that the promising Sharpness-Aware Minimization (SAM) fails to address generalization issues under the class-imbalanced setting. Through investigating this specific type of task, we identify that its generalization bottleneck primarily lies in the severe overfitting for tail classes with limited training data. To overcome this bottleneck, we leverage class priors to restrict the generalization scope of the class-agnostic SAM and propose a class-aware smoothness optimization algorithm named Imbalanced-SAM (ImbSAM). With the guidance of class priors, our ImbSAM specifically improves generalization targeting tail classes. We also verify the efficacy of ImbSAM on two prototypical applications of class-imbalanced recognition: long-tailed classification and semi-supervised anomaly detection, where our ImbSAM demonstrates remarkable performance improvements for tail classes and anomaly. Our code implementation is available at https://github.com/cool-xuan/Imbalanced_SAM.
• Abstract（参考訳）: クラス不均衡は、現実世界の認識タスクにおいて一般的な課題であり、ほとんどのクラスは、テールクラス(tail class)とも呼ばれるサンプルをほとんど持たない。 一般化の観点からこの問題に対処し、有望なSharpness-Aware Minimization (SAM) がクラス不均衡条件下での一般化問題に対処できないことを実証的に見出した。 この種のタスクを調査した結果,その一般化のボトルネックは,トレーニングデータに制限のあるテールクラスの過度なオーバーフィットにあることが判明した。 このボトルネックを克服するために、クラス非依存samの一般化範囲を制限するためにクラスプリエントを利用し、imbsam(imbalanced-sam)と呼ばれるクラスアウェアな滑らかさ最適化アルゴリズムを提案する。 クラス事前のガイダンスにより、ImbSAMはテールクラスをターゲットにした一般化を特に改善します。 また,クラス不均衡認識の2つの原型的応用であるlong-tailed classification と semi-supervised anomaly detection に対する imbsam の有効性を検証した。 私たちのコード実装はhttps://github.com/cool-xuan/imbalanced_samで利用可能です。

関連論文リスト

• Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems [26.377807940655305]
  この研究は均衡性という概念を導入し、2つの変数の平方ノルムの差として定義される。 我々は,スケール不変問題に適した資源効率のSAM変種である平衡性認識正規化(BAR)を開発した。
  論文  参考訳（メタデータ） (2024-10-18T18:19:18Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
  シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T08:05:46Z)
• Sharpness-Aware Minimization Revisited: Weighted Sharpness as a Regularization Term [4.719514928428503]
  正規化項としてシャープネスを組み込んだWSAMという,より一般的な手法を提案する。 PACとBayes-PACの併用による一般化を実証する。 その結果、WSAMは、バニラやSAMとその変種と比較して、より改良された一般化を達成するか、少なくとも高い競争力を持つことを示した。
  論文  参考訳（メタデータ） (2023-05-25T08:00:34Z)
• Invariant Feature Learning for Generalized Long-Tailed Classification [63.0533733524078]
  我々は,両種類の不均衡を共同で検討するために,一般化長大分類(GLT)を導入する。 提案した2つのベンチマーク(ImageNet-GLTとMSCOCO-GLT)では,ほとんどのクラスワイドLTメソッドが退化している。 GLTの最初の強力なベースラインとして不変特徴学習(IFL)法を提案する。
  論文  参考訳（メタデータ） (2022-07-19T18:27:42Z)
• Towards Understanding Sharpness-Aware Minimization [27.666483899332643]
  Sharpness-Aware Minimization (SAM) の成功に対する既存の正当化は、PACBayes の一般化に基づいていると論じる。 対角線ネットワークの暗黙バイアスを理論的に解析する。 SAMで標準モデルを微調整することで、非シャープネットワークの特性を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-13T15:07:32Z)
• Exploring Classification Equilibrium in Long-Tailed Object Detection [29.069986049436157]
  そこで本研究では,各カテゴリの平均分類スコアを用いて,各カテゴリの分類精度を示す。 EBL (Equilibrium Loss) と Memory-augmented Feature Smpling (MFS) 法による分類のバランスをとる。 尾クラスの検出性能を15.6 APで改善し、最新の長い尾を持つ物体検出器を1 AP以上で上回っている。
  論文  参考訳（メタデータ） (2021-08-17T08:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。