論文の概要: BaCon: Boosting Imbalanced Semi-supervised Learning via Balanced Feature-Level Contrastive Learning

• arxiv url: http://arxiv.org/abs/2403.12986v1
• Date: Mon, 4 Mar 2024 06:43:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 07:27:10.249766
• Title: BaCon: Boosting Imbalanced Semi-supervised Learning via Balanced Feature-Level Contrastive Learning
• Title（参考訳）: BaCon: バランスのとれた特徴レベルのコントラスト学習による非バランスな半教師あり学習の促進
• Authors: Qianhan Feng, Lujing Xie, Shijie Fang, Tong Lin,
• Abstract要約: クラス不均衡半教師学習(CISSL)では、信頼できない擬似ラベルによって引き起こされるバイアスは、不均衡なデータ分布によって悪化させることができる。 提案手法は、よく設計されたコントラスト的な方法で、インスタンスの表現の分布を直接正規化する。 提案手法は, CIFAR10-LT, CIFAR100-LT, STL10-LT, SVHN-LTデータセットの包括的実験により有効性を示す。
• 参考スコア（独自算出の注目度）: 0.9160375060389779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised Learning (SSL) reduces the need for extensive annotations in deep learning, but the more realistic challenge of imbalanced data distribution in SSL remains largely unexplored. In Class Imbalanced Semi-supervised Learning (CISSL), the bias introduced by unreliable pseudo-labels can be exacerbated by imbalanced data distributions. Most existing methods address this issue at instance-level through reweighting or resampling, but the performance is heavily limited by their reliance on biased backbone representation. Some other methods do perform feature-level adjustments like feature blending but might introduce unfavorable noise. In this paper, we discuss the bonus of a more balanced feature distribution for the CISSL problem, and further propose a Balanced Feature-Level Contrastive Learning method (BaCon). Our method directly regularizes the distribution of instances' representations in a well-designed contrastive manner. Specifically, class-wise feature centers are computed as the positive anchors, while negative anchors are selected by a straightforward yet effective mechanism. A distribution-related temperature adjustment is leveraged to control the class-wise contrastive degrees dynamically. Our method demonstrates its effectiveness through comprehensive experiments on the CIFAR10-LT, CIFAR100-LT, STL10-LT, and SVHN-LT datasets across various settings. For example, BaCon surpasses instance-level method FixMatch-based ABC on CIFAR10-LT with a 1.21% accuracy improvement, and outperforms state-of-the-art feature-level method CoSSL on CIFAR100-LT with a 0.63% accuracy improvement. When encountering more extreme imbalance degree, BaCon also shows better robustness than other methods.
• Abstract（参考訳）: 半教師付き学習(SSL)は、ディープラーニングにおける広範なアノテーションの必要性を減らしますが、SSLにおける不均衡なデータ分散のより現実的な課題は、まだ明らかにされていません。 クラス不均衡半教師学習(CISSL)では、信頼できない擬似ラベルによって引き起こされるバイアスは、不均衡なデータ分布によって悪化させることができる。 既存のほとんどのメソッドは、再重み付けや再サンプリングを通じて、インスタンスレベルでこの問題に対処するが、パフォーマンスはバイアス付きバックボーン表現に依存しているため、非常に制限されている。 その他の方法は、機能ブレンディングのような機能レベルの調整を行うが、好ましくないノイズをもたらす可能性がある。 本稿では、CISSL問題に対するよりバランスのとれた特徴分布のボーナスについて論じ、さらにバランスのとれた特徴レベルコントラスト学習法(BaCon)を提案する。 提案手法は、よく設計されたコントラスト的な方法で、インスタンスの表現の分布を直接正規化する。 特に、クラスワイドの特徴中心は正のアンカーとして計算され、負のアンカーは単純で効果的なメカニズムによって選択される。 分布関連温度調整を利用して、クラスワイドコントラストの度合いを動的に制御する。 提案手法は, CIFAR10-LT, CIFAR100-LT, STL10-LT, SVHN-LTデータセットを様々な設定で包括的に実験することにより, その有効性を示す。 例えば、BaConはCIFAR10-LTのインスタンスレベルのFixMatchベースのABCを1.21%の精度で上回り、CIFAR100-LTのCoSSLの精度は0.63%向上した。 より極端な不均衡の度合いに直面すると、BaConは他の方法よりも堅牢性も向上する。

関連論文リスト

• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Flexible Distribution Alignment: Towards Long-tailed Semi-supervised Learning with Proper Calibration [18.376601653387315]
  Longtailed semi-supervised learning (LTSSL)は、半教師付きアプリケーションのための実践的なシナリオである。 この問題は、ラベル付きとラベルなしのクラス分布の相違によってしばしば悪化する。 本稿では,新しい適応ロジット調整型損失フレームワークFlexDAを紹介する。
  論文  参考訳（メタデータ） (2023-06-07T17:50:59Z)
• An Embarrassingly Simple Baseline for Imbalanced Semi-Supervised Learning [103.65758569417702]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルのパフォーマンスを向上させるという大きな約束を示している。 我々は、ラベル付きデータとラベルなしデータの両方で不均衡なクラス分散が発生する不均衡SSLという、より現実的で困難な設定について検討する。 我々は、ラベル付きデータを擬似ラベルで単純に補うことで、データの不均衡に取り組む単純なベースライン、SimiSについて研究する。
  論文  参考訳（メタデータ） (2022-11-20T21:18:41Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• BASIL: Balanced Active Semi-supervised Learning for Class Imbalanced Datasets [14.739359755029353]
  現在の半教師付き学習(SSL)メソッドは、ラベル付きデータセットとラベルなしデータセットの両方で、各クラスで利用可能なデータポイントの数の間のバランスを前提としている。 本研究では,サブモジュール相互情報(SMI)関数をクラスごとに最適化し,アクティブな学習ループにおけるバランスの取れたデータセットを徐々に選択するアルゴリズムであるBASILを提案する。
  論文  参考訳（メタデータ） (2022-03-10T21:34:08Z)
• Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
  本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。 提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-03-04T12:18:23Z)
• CoSSL: Co-Learning of Representation and Classifier for Imbalanced Semi-Supervised Learning [98.89092930354273]
  本稿では,非バランスなSSLのための非結合表現学習と分類器学習を用いた新しいコラーニングフレームワーク(CoSSL)を提案する。 データ不均衡に対処するため、分類器学習のためのTFE(Tail-class Feature Enhancement)を考案した。 実験により,本手法は様々な分散分布において,他の手法よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-12-08T20:13:13Z)
• Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning [126.31716228319902]
  Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。 DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。