論文の概要: Class Instance Balanced Learning for Long-Tailed Classification
- arxiv url: http://arxiv.org/abs/2307.05322v1
- Date: Tue, 11 Jul 2023 15:09:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 14:35:06.006601
- Title: Class Instance Balanced Learning for Long-Tailed Classification
- Title（参考訳）: ロングテール分類のためのクラスインスタンスバランス学習
- Authors: Marc-Antoine Lavoie, Steven Waslander
- Abstract要約: ロングテール画像分類タスクは、トレーニングデータのクラス周波数における大きな不均衡を扱う。
従来のアプローチでは、クロスエントロピーとコントラスト学習を組み合わせることで、長いタスクのパフォーマンスが向上することが示されている。
学習バッチにおけるクラスインスタンスの頻度の関数として,クロスエントロピーと対照的な損失の相対的寄与を重み付けする新しいクラスインスタンス平衡損失(CIBL)を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The long-tailed image classification task remains important in the
development of deep neural networks as it explicitly deals with large
imbalances in the class frequencies of the training data. While uncommon in
engineered datasets, this imbalance is almost always present in real-world
data. Previous approaches have shown that combining cross-entropy and
contrastive learning can improve performance on the long-tailed task, but they
do not explore the tradeoff between head and tail classes. We propose a novel
class instance balanced loss (CIBL), which reweights the relative contributions
of a cross-entropy and a contrastive loss as a function of the frequency of
class instances in the training batch. This balancing favours the contrastive
loss for more common classes, leading to a learned classifier with a more
balanced performance across all class frequencies. Furthermore, increasing the
relative weight on the contrastive head shifts performance from common (head)
to rare (tail) classes, allowing the user to skew the performance towards these
classes if desired. We also show that changing the linear classifier head with
a cosine classifier yields a network that can be trained to similar performance
in substantially fewer epochs. We obtain competitive results on both
CIFAR-100-LT and ImageNet-LT.
- Abstract（参考訳）: ロングテール画像分類タスクは、トレーニングデータのクラス周波数における大きな不均衡を明示的に処理するため、ディープニューラルネットワークの開発において重要な役割を担っている。
エンジニアリングデータセットでは珍しくないが、この不均衡はほとんど常に現実世界のデータに存在する。
これまでのアプローチでは、クロスエントロピーとコントラスト学習を組み合わせることで、ロングテールタスクのパフォーマンスを向上させることが示されているが、頭と尾のクラス間のトレードオフは検討されていない。
学習バッチにおけるクラスインスタンスの頻度の関数として,クロスエントロピーと対照的な損失の相対的寄与を重み付けする新しいクラスインスタンス平衡損失(CIBL)を提案する。
このバランスは、より一般的なクラスで対照的な損失を好み、全てのクラス周波数でよりバランスの取れたパフォーマンスを持つ学習された分類器へと繋がる。
さらに、コントラストヘッドの相対的な重みを増加させることで、パフォーマンスを一般的な(ヘッド)クラスからレア(テール)クラスにシフトさせ、必要に応じてこれらのクラスに対してパフォーマンスを歪めることができる。
また,線形分類器ヘッドをコサイン分類器で変更することで,ほぼ少ないエポックで同様の性能を訓練できるネットワークが得られることを示す。
CIFAR-100-LT と ImageNet-LT の競合結果を得た。
関連論文リスト
- RAHNet: Retrieval Augmented Hybrid Network for Long-tailed Graph
Classification [10.806893809269074]
本稿では,ロバストな特徴抽出器と非バイアスな分類器を共同で学習するRAHNet(Retrieval Augmented Hybrid Network)を提案する。
特徴抽出学習の段階において,各クラスにおけるクラス内多様性を直接強化する関係グラフを探索するグラフ検索モジュールを開発する。
また、分類表現を得るために、カテゴリー中心の教師付きコントラスト損失を革新的に最適化する。
論文 参考訳（メタデータ） (2023-08-04T14:06:44Z) - Towards Calibrated Hyper-Sphere Representation via Distribution Overlap
Coefficient for Long-tailed Learning [8.208237033120492]
ロングテール学習は、現実世界のシナリオにおいて、厳しいクラス不均衡の下で、ヘッドクラスがトレーニング手順を支配しているという課題に取り組むことを目的としている。
これを動機として、コサインに基づく分類器をフォン・ミセス・フィッシャー混合モデル(vMF)に一般化する。
分布重なり係数の計算により超球面上の表現品質を測定する。
論文 参考訳（メタデータ） (2022-08-22T03:53:29Z) - Balanced Contrastive Learning for Long-Tailed Visual Recognition [32.789465918318925]
現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。
本稿では,不均衡なデータに対する表現学習に着目した。
バランス付きコントラスト学習(BCL)における新たな損失を提案する。
論文 参考訳（メタデータ） (2022-07-19T03:48:59Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。
ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。
CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2021-12-11T11:44:09Z) - Improving Tail-Class Representation with Centroid Contrastive Learning [145.73991900239017]
本稿では,長い尾を持つ表現学習を改善するために,補間型セントロイドコントラスト学習(ICCL)を提案する。
ICCLは、クラス別サンプルとクラス別サンプルの2つの画像を補間し、ICCLの表現が両方のソースクラスのセントロイドを取得するために使用されるようにモデルを訓練する。
我々の結果は、現実世界の長い尾の分布を持つiNaturalist 2018データセットで2.8%の精度向上を示した。
論文 参考訳（メタデータ） (2021-10-19T15:24:48Z) - Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。
我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。
複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
論文 参考訳（メタデータ） (2021-06-17T11:41:30Z) - Distributional Robustness Loss for Long-tail Learning [20.800627115140465]
現実世界のデータはしばしばアンバランスで長尾ですが、深いモデルは頻繁なクラスの存在下でまれなクラスを認識するのに苦労します。
ディープネットワークの特徴抽出器部分は,このバイアスに大きく悩まされていることを示す。
モデルが頭と尾の両方のクラスで高品質の表現を学ぶことを奨励するロバストネス理論に基づく新しい損失を提案します。
論文 参考訳（メタデータ） (2021-04-07T11:34:04Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳（メタデータ） (2021-04-01T13:55:21Z) - Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。
複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。
RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
論文 参考訳（メタデータ） (2020-10-05T06:53:44Z) - Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。
私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
論文 参考訳（メタデータ） (2020-04-07T20:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。