論文の概要: Balanced Contrastive Learning for Long-Tailed Visual Recognition
- arxiv url: http://arxiv.org/abs/2207.09052v1
- Date: Tue, 19 Jul 2022 03:48:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 13:27:40.656079
- Title: Balanced Contrastive Learning for Long-Tailed Visual Recognition
- Title（参考訳）: 長期視覚認識のためのバランス付きコントラスト学習
- Authors: Jianggang, Zhu and Zheng, Wang and Jingjing, Chen and Yi-Ping Phoebe,
Chen and Yu-Gang, Jiang
- Abstract要約: 現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。
本稿では,不均衡なデータに対する表現学習に着目した。
バランス付きコントラスト学習(BCL)における新たな損失を提案する。
- 参考スコア（独自算出の注目度）: 32.789465918318925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world data typically follow a long-tailed distribution, where a few
majority categories occupy most of the data while most minority categories
contain a limited number of samples. Classification models minimizing
cross-entropy struggle to represent and classify the tail classes. Although the
problem of learning unbiased classifiers has been well studied, methods for
representing imbalanced data are under-explored. In this paper, we focus on
representation learning for imbalanced data. Recently, supervised contrastive
learning has shown promising performance on balanced data recently. However,
through our theoretical analysis, we find that for long-tailed data, it fails
to form a regular simplex which is an ideal geometric configuration for
representation learning. To correct the optimization behavior of SCL and
further improve the performance of long-tailed visual recognition, we propose a
novel loss for balanced contrastive learning (BCL). Compared with SCL, we have
two improvements in BCL: class-averaging, which balances the gradient
contribution of negative classes; class-complement, which allows all classes to
appear in every mini-batch. The proposed balanced contrastive learning (BCL)
method satisfies the condition of forming a regular simplex and assists the
optimization of cross-entropy. Equipped with BCL, the proposed two-branch
framework can obtain a stronger feature representation and achieve competitive
performance on long-tailed benchmark datasets such as CIFAR-10-LT,
CIFAR-100-LT, ImageNet-LT, and iNaturalist2018. Our code is available at
\href{https://github.com/FlamieZhu/BCL}{this URL}.
- Abstract（参考訳）: 現実のデータは典型的には長い尾の分布を辿り、少数の大半がデータの大半を占め、少数派は限られた数のサンプルを含んでいる。
分類モデルは、尾のクラスを表現し分類するクロスエントロピー闘争を最小限にする。
偏りのない分類器を学習する問題はよく研究されているが、不均衡データを表す手法は未検討である。
本稿では,不均衡データに対する表現学習に着目した。
近年,教師付きコントラスト学習はバランスデータに有望な性能を示した。
しかし、理論解析によって、ロングテールデータの場合、表現学習の理想的な幾何学的構成である正規な単純集合を形成することができないことが分かる。
sclの最適化動作を補正し,長期視覚認識の性能をさらに向上させるため,バランスドコントラスト学習(bcl)のための新しい損失を提案する。
SCLと比較して、BCLには2つの改善がある: 負のクラスの勾配コントリビューションのバランスをとるclass-averaging、すべてのクラスがミニバッチに表示されるclass-complement。
提案するバランスドコントラスト学習 (bcl) 法は, 正則なシンプレックスの形成条件を満たし, クロスエントロピーの最適化を支援する。
BCLと組み合わされたこの2ブランチフレームワークは,CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, iNaturalist2018などの長期ベンチマークデータセット上で,より強力な特徴表現と競争性能を実現する。
私たちのコードは \href{https://github.com/FlamieZhu/BCL}{this URL} で利用可能です。
関連論文リスト
- Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳（メタデータ） (2024-03-10T09:46:28Z) - A dual-branch model with inter- and intra-branch contrastive loss for
long-tailed recognition [7.225494453600985]
長い尾のデータセットで訓練されたモデルは、テールクラスへの適応性が低く、決定境界は曖昧である。
我々は,不均衡学習枝と対照学習枝(CoLB)を含む,単純で効果的なDual-Branch Long-Tailed Recognition (DB-LTR)を提案する。
CoLBは、テールクラスに適応する際のモデルの能力を改善し、不均衡な学習ブランチを支援して、よく表現された特徴空間と識別的決定境界を学習する。
論文 参考訳（メタデータ） (2023-09-28T03:31:11Z) - Class Instance Balanced Learning for Long-Tailed Classification [0.0]
ロングテール画像分類タスクは、トレーニングデータのクラス周波数における大きな不均衡を扱う。
従来のアプローチでは、クロスエントロピーとコントラスト学習を組み合わせることで、長いタスクのパフォーマンスが向上することが示されている。
学習バッチにおけるクラスインスタンスの頻度の関数として,クロスエントロピーと対照的な損失の相対的寄与を重み付けする新しいクラスインスタンス平衡損失(CIBL)を提案する。
論文 参考訳（メタデータ） (2023-07-11T15:09:10Z) - Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。
尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。
そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文 参考訳（メタデータ） (2022-01-08T07:48:36Z) - Feature Generation for Long-tail Classification [36.186909933006675]
そこで本研究では,テールカテゴリーの分布を推定して有意義な特徴を生成する方法を示す。
また、t-SNE視覚化を用いて生成した特徴の質的分析を行い、末尾クラス分布のキャリブレーションに最も近い隣人を解析する。
論文 参考訳（メタデータ） (2021-11-10T21:34:29Z) - Improving Tail-Class Representation with Centroid Contrastive Learning [145.73991900239017]
本稿では,長い尾を持つ表現学習を改善するために,補間型セントロイドコントラスト学習(ICCL)を提案する。
ICCLは、クラス別サンプルとクラス別サンプルの2つの画像を補間し、ICCLの表現が両方のソースクラスのセントロイドを取得するために使用されるようにモデルを訓練する。
我々の結果は、現実世界の長い尾の分布を持つiNaturalist 2018データセットで2.8%の精度向上を示した。
論文 参考訳（メタデータ） (2021-10-19T15:24:48Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳（メタデータ） (2021-04-01T13:55:21Z) - The Devil is in Classification: A Simple Framework for Long-tail Object
Detection and Instance Segmentation [93.17367076148348]
本稿では,最新のロングテールLVISデータセットを用いて,最先端の2段階のインスタンスセグメンテーションモデルMask R-CNNの性能低下について検討する。
主な原因は、オブジェクト提案の不正確な分類である。
そこで本研究では,2段階のクラスバランスサンプリング手法により,分類ヘッドバイアスをより効果的に緩和する,簡単な校正フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-23T12:49:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。