論文の概要: Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition

• arxiv url: http://arxiv.org/abs/2410.06109v1
• Date: Tue, 8 Oct 2024 15:06:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:10:50.637417
• Title: Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition
• Title（参考訳）: 長期半教師付き音声認識のための連続コントラスト学習
• Authors: Zi-Hao Zhou, Siyuan Fang, Zi-Jing Zhou, Tong Wei, Yuanyu Wan, Min-Ling Zhang,
• Abstract要約: 現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
• 参考スコア（独自算出の注目度）: 50.61991746981703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-tailed semi-supervised learning poses a significant challenge in training models with limited labeled data exhibiting a long-tailed label distribution. Current state-of-the-art LTSSL approaches heavily rely on high-quality pseudo-labels for large-scale unlabeled data. However, these methods often neglect the impact of representations learned by the neural network and struggle with real-world unlabeled data, which typically follows a different distribution than labeled data. This paper introduces a novel probabilistic framework that unifies various recent proposals in long-tail learning. Our framework derives the class-balanced contrastive loss through Gaussian kernel density estimation. We introduce a continuous contrastive learning method, CCL, extending our framework to unlabeled data using reliable and smoothed pseudo-labels. By progressively estimating the underlying label distribution and optimizing its alignment with model predictions, we tackle the diverse distribution of unlabeled data in real-world scenarios. Extensive experiments across multiple datasets with varying unlabeled data distributions demonstrate that CCL consistently outperforms prior state-of-the-art methods, achieving over 4% improvement on the ImageNet-127 dataset. Our source code is available at https://github.com/zhouzihao11/CCL
• Abstract（参考訳）: 長い尾を持つ半教師付き学習は、長い尾を持つラベル分布を示す限られたラベル付きデータを持つ訓練モデルにおいて重要な課題となる。 現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して、高品質な擬似ラベルに大きく依存している。 しかしながら、これらの手法はニューラルネットワークが学習した表現の影響を無視し、ラベル付きデータとは異なる分布に従う現実世界のラベルなしデータに苦戦することが多い。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々のフレームワークはガウス核密度推定によるクラスバランスの対照的な損失を導出する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。 ラベルの分布を段階的に推定し、モデル予測との整合性を最適化することにより、実世界のシナリオにおけるラベルなしデータの多様な分布に取り組む。 ラベルのないさまざまなデータ分布を持つ複数のデータセットにわたる大規模な実験は、CCLが従来よりも一貫して優れており、ImageNet-127データセットで4%以上の改善が達成されていることを示している。 ソースコードはhttps://github.com/zhouzihao11/CCLで公開されています。

関連論文リスト

• Learning from Noisy Labels for Long-tailed Data via Optimal Transport [2.8821062918162146]
  本稿では,長周期分布と雑音ラベルの両方を特徴とするデータ管理手法を提案する。 そこで我々は,半教師付き学習方式で擬似ラベルを生成するために,最適な輸送戦略を採用した。
  論文  参考訳（メタデータ） (2024-08-07T14:15:18Z)
• Flexible Distribution Alignment: Towards Long-tailed Semi-supervised Learning with Proper Calibration [18.376601653387315]
  Longtailed semi-supervised learning (LTSSL)は、半教師付きアプリケーションのための実践的なシナリオである。 この問題は、ラベル付きとラベルなしのクラス分布の相違によってしばしば悪化する。 本稿では,新しい適応ロジット調整型損失フレームワークFlexDAを紹介する。
  論文  参考訳（メタデータ） (2023-06-07T17:50:59Z)
• Exploring the Boundaries of Semi-Supervised Facial Expression Recognition using In-Distribution, Out-of-Distribution, and Unconstrained Data [23.4909421082857]
  表情認識(FER)における最新の半教師あり手法11について検討する。 本研究は,非流通,アウト・オブ・ディストリビューション,制約のない,非常に小さなデータからの半教師付き学習を対象とする。 ラベル付きサンプルの数が等しいため、半教師付き学習は教師付き学習よりも大幅に改善される。
  論文  参考訳（メタデータ） (2023-06-02T01:40:08Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Re-distributing Biased Pseudo Labels for Semi-supervised Semantic Segmentation: A Baseline Investigation [30.688753736660725]
  疑似ラベルを生成するために,DARS法とDARS法を提案する。 我々の手法は最先端の手法と比較して好適に機能する。
  論文  参考訳（メタデータ） (2021-07-23T14:45:14Z)
• Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
  ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。 半教師付き長尾認識という新しい認識設定を提案する。 2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
  論文  参考訳（メタデータ） (2021-05-01T00:43:38Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。