論文の概要: ImbSAM: A Closer Look at Sharpness-Aware Minimization in
Class-Imbalanced Recognition
- arxiv url: http://arxiv.org/abs/2308.07815v1
- Date: Tue, 15 Aug 2023 14:46:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 12:20:51.496410
- Title: ImbSAM: A Closer Look at Sharpness-Aware Minimization in
Class-Imbalanced Recognition
- Title(参考訳): ImbSAM: クラス不均衡認識におけるシャープネス認識の最小化について
- Authors: Yixuan Zhou, Yi Qu, Xing Xu, Hengtao Shen
- Abstract要約: シャープネス・アウェアの最小化(SAM)は,クラス不均衡条件下での一般化問題に対処できないことを示す。
このボトルネックを克服するために,Im Balanced-SAM (ImbSAM) というクラス認識スムーズネス最適化アルゴリズムを提案する。
我々のImbSAMは、テールクラスと異常に対する顕著なパフォーマンス改善を示す。
- 参考スコア(独自算出の注目度): 62.20538402226608
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class imbalance is a common challenge in real-world recognition tasks, where
the majority of classes have few samples, also known as tail classes. We
address this challenge with the perspective of generalization and empirically
find that the promising Sharpness-Aware Minimization (SAM) fails to address
generalization issues under the class-imbalanced setting. Through investigating
this specific type of task, we identify that its generalization bottleneck
primarily lies in the severe overfitting for tail classes with limited training
data. To overcome this bottleneck, we leverage class priors to restrict the
generalization scope of the class-agnostic SAM and propose a class-aware
smoothness optimization algorithm named Imbalanced-SAM (ImbSAM). With the
guidance of class priors, our ImbSAM specifically improves generalization
targeting tail classes. We also verify the efficacy of ImbSAM on two
prototypical applications of class-imbalanced recognition: long-tailed
classification and semi-supervised anomaly detection, where our ImbSAM
demonstrates remarkable performance improvements for tail classes and anomaly.
Our code implementation is available at
https://github.com/cool-xuan/Imbalanced_SAM.
- Abstract(参考訳): クラス不均衡は、現実世界の認識タスクにおいて一般的な課題であり、ほとんどのクラスは、テールクラス(tail class)とも呼ばれるサンプルをほとんど持たない。
一般化の観点からこの問題に対処し、有望なSharpness-Aware Minimization (SAM) がクラス不均衡条件下での一般化問題に対処できないことを実証的に見出した。
この種のタスクを調査した結果,その一般化のボトルネックは,トレーニングデータに制限のあるテールクラスの過度なオーバーフィットにあることが判明した。
このボトルネックを克服するために、クラス非依存samの一般化範囲を制限するためにクラスプリエントを利用し、imbsam(imbalanced-sam)と呼ばれるクラスアウェアな滑らかさ最適化アルゴリズムを提案する。
クラス事前のガイダンスにより、ImbSAMはテールクラスをターゲットにした一般化を特に改善します。
また,クラス不均衡認識の2つの原型的応用であるlong-tailed classification と semi-supervised anomaly detection に対する imbsam の有効性を検証した。
私たちのコード実装はhttps://github.com/cool-xuan/imbalanced_samで利用可能です。
関連論文リスト
- WeakSAM: Segment Anything Meets Weakly-supervised Instance-level
Recognition [40.711009448103354]
不正確な監督を用いた弱々しい教師付き視覚認識は、批判的ながら困難な学習問題である。
本稿では、WeakSAMを導入し、ビジョン基礎モデルに含まれる事前学習された世界知識、すなわち、セグメンツ・アシング・モデル(SAM)を利用して、弱教師付きオブジェクト検出(WSOD)とセグメンテーションを解決する。
WeakSAMは、WSODおよびWSISベンチマークにおいて、それぞれ7.4%と8.5%の平均的な改善という大きなマージンを持つ従来の最先端手法を著しく上回っている。
論文 参考訳(メタデータ) (2024-02-22T18:59:24Z) - Uncertainty-guided Boundary Learning for Imbalanced Social Event
Detection [64.4350027428928]
本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。
我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
論文 参考訳(メタデータ) (2023-10-30T03:32:04Z) - Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。
SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-07T08:05:46Z) - Sharpness-Aware Minimization Revisited: Weighted Sharpness as a
Regularization Term [4.719514928428503]
正規化項としてシャープネスを組み込んだWSAMという,より一般的な手法を提案する。
PACとBayes-PACの併用による一般化を実証する。
その結果、WSAMは、バニラやSAMとその変種と比較して、より改良された一般化を達成するか、少なくとも高い競争力を持つことを示した。
論文 参考訳(メタデータ) (2023-05-25T08:00:34Z) - Improved Deep Neural Network Generalization Using m-Sharpness-Aware
Minimization [14.40189851070842]
シャープネス・アウェア最小化(SAM)は、基礎となる損失関数を修正し、フラットなミニマへ導出する方法を導出する。
近年の研究ではmSAMがSAMよりも精度が高いことが示唆されている。
本稿では,様々なタスクやデータセットにおけるmSAMの包括的評価について述べる。
論文 参考訳(メタデータ) (2022-12-07T00:37:55Z) - Invariant Feature Learning for Generalized Long-Tailed Classification [63.0533733524078]
我々は,両種類の不均衡を共同で検討するために,一般化長大分類(GLT)を導入する。
提案した2つのベンチマーク(ImageNet-GLTとMSCOCO-GLT)では,ほとんどのクラスワイドLTメソッドが退化している。
GLTの最初の強力なベースラインとして不変特徴学習(IFL)法を提案する。
論文 参考訳(メタデータ) (2022-07-19T18:27:42Z) - Towards Understanding Sharpness-Aware Minimization [27.666483899332643]
Sharpness-Aware Minimization (SAM) の成功に対する既存の正当化は、PACBayes の一般化に基づいていると論じる。
対角線ネットワークの暗黙バイアスを理論的に解析する。
SAMで標準モデルを微調整することで、非シャープネットワークの特性を大幅に改善できることを示す。
論文 参考訳(メタデータ) (2022-06-13T15:07:32Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳(メタデータ) (2021-10-22T01:55:01Z) - Exploring Classification Equilibrium in Long-Tailed Object Detection [29.069986049436157]
そこで本研究では,各カテゴリの平均分類スコアを用いて,各カテゴリの分類精度を示す。
EBL (Equilibrium Loss) と Memory-augmented Feature Smpling (MFS) 法による分類のバランスをとる。
尾クラスの検出性能を15.6 APで改善し、最新の長い尾を持つ物体検出器を1 AP以上で上回っている。
論文 参考訳(メタデータ) (2021-08-17T08:39:04Z) - M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。
本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。
提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
論文 参考訳(メタデータ) (2020-04-01T13:21:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。