論文の概要: Subclass-balancing Contrastive Learning for Long-tailed Recognition
- arxiv url: http://arxiv.org/abs/2306.15925v1
- Date: Wed, 28 Jun 2023 05:08:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 15:46:36.365306
- Title: Subclass-balancing Contrastive Learning for Long-tailed Recognition
- Title（参考訳）: ロングテール認識のためのサブクラスバランスコントラスト学習
- Authors: Chengkai Hou and Jieyu Zhang and Haonan Wang and Tianyi Zhou
- Abstract要約: 不均衡なクラス分布を持つロングテール認識は、実践的な機械学習アプリケーションで自然に現れる。
そこで我々は,各ヘッドクラスを複数のサブクラスにクラスタリングする,新しいサブクラスバランス・コントラッシブ・ラーニング・アプローチを提案する。
我々は,長期化ベンチマークデータセットの一覧からSBCLを評価し,最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 27.357302582308986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-tailed recognition with imbalanced class distribution naturally emerges
in practical machine learning applications. Existing methods such as data
reweighing, resampling, and supervised contrastive learning enforce the class
balance with a price of introducing imbalance between instances of head class
and tail class, which may ignore the underlying rich semantic substructures of
the former and exaggerate the biases in the latter. We overcome these drawbacks
by a novel ``subclass-balancing contrastive learning (SBCL)'' approach that
clusters each head class into multiple subclasses of similar sizes as the tail
classes and enforce representations to capture the two-layer class hierarchy
between the original classes and their subclasses. Since the clustering is
conducted in the representation space and updated during the course of
training, the subclass labels preserve the semantic substructures of head
classes. Meanwhile, it does not overemphasize tail class samples, so each
individual instance contribute to the representation learning equally. Hence,
our method achieves both the instance- and subclass-balance, while the original
class labels are also learned through contrastive learning among subclasses
from different classes. We evaluate SBCL over a list of long-tailed benchmark
datasets and it achieves the state-of-the-art performance. In addition, we
present extensive analyses and ablation studies of SBCL to verify its
advantages.
- Abstract（参考訳）: 不均衡なクラス分布を持つロングテール認識は、実践的な機械学習アプリケーションで自然に現れる。
data reweighing、resampling、supervised contrastive learningのような既存のメソッドは、クラスバランスを、headクラスとtailクラスのインスタンス間の不均衡を導入する価格で強制し、これは前者のリッチなセマンティックサブ構造を無視し、後者のバイアスを誇張する可能性がある。
これらの欠点を,各headクラスを末尾クラスと同じ大きさの複数のサブクラスに分類し,元のクラスとそれらのサブクラスの間の2層クラス階層をキャプチャする表現を強制する,新しい`subclass-balancing contrastive learning (sbcl)'アプローチによって克服した。
クラスタリングは、表現空間内で実行され、トレーニング中に更新されるので、サブクラスラベルは、ヘッドクラスのセマンティックサブ構造を保持する。
一方、テールクラスのサンプルを過度に強調しないため、各インスタンスは表現学習に等しく貢献する。
したがって,本手法はインスタンスとサブクラスのバランスを両立させるが,元のクラスラベルは異なるクラスのサブクラスのコントラスト学習によって学習される。
我々は,長期化ベンチマークデータセットの一覧からSBCLを評価し,最先端のパフォーマンスを実現する。
さらに,SBCLのさらなる分析とアブレーションを行い,その利点を検証した。
関連論文リスト
- Covariance-based Space Regularization for Few-shot Class Incremental Learning [25.435192867105552]
FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。
インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。
最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
論文 参考訳（メタデータ） (2024-11-02T08:03:04Z) - Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification [11.072083437769093]
我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。
私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
論文 参考訳（メタデータ） (2024-05-19T11:33:49Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳（メタデータ） (2023-12-08T18:24:08Z) - Class Uncertainty: A Measure to Mitigate Class Imbalance [0.0]
授業の基数のみを考慮すると、クラス不均衡の原因となるすべての問題をカバーできるわけではない。
トレーニング事例の予測的不確実性の平均値として「クラス不確実性」を提案する。
また,SVCI-20は,クラスが同じ数のトレーニングサンプルを持つが,それらの硬さの点で異なる,新しいデータセットとしてキュレートする。
論文 参考訳（メタデータ） (2023-11-23T16:36:03Z) - DiGeo: Discriminative Geometry-Aware Learning for Generalized Few-Shot
Object Detection [39.937724871284665]
汎用的な少ショットオブジェクト検出は、豊富なアノテーションと限られたトレーニングデータを持つ新しいクラスで、両方のベースクラス上で正確な検出を実現することを目的としている。
既存のアプローチは、ベースクラスのパフォーマンスを犠牲にして、数ショットの一般化を促進する。
クラス間分離とクラス内コンパクト性の幾何学的特徴を学習するための新しいトレーニングフレームワークDiGeoを提案する。
論文 参考訳（メタデータ） (2023-03-16T22:37:09Z) - Generalization Bounds for Few-Shot Transfer Learning with Pretrained
Classifiers [26.844410679685424]
本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。
クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
論文 参考訳（メタデータ） (2022-12-23T18:46:05Z) - Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。
我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。
実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-12-13T15:48:59Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - Learning and Evaluating Representations for Deep One-class
Classification [59.095144932794646]
ディープワンクラス分類のための2段階フレームワークを提案する。
まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。
実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
論文 参考訳（メタデータ） (2020-11-04T23:33:41Z) - Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition
from a Domain Adaptation Perspective [98.70226503904402]
現実世界のオブジェクトの周波数は、しばしば電力法則に従い、長い尾のクラス分布を持つデータセット間のミスマッチを引き起こす。
メタラーニング手法を用いて,クラス条件分布の違いを明示的に推定し,古典的なクラスバランス学習を強化することを提案する。
論文 参考訳（メタデータ） (2020-03-24T11:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。