論文の概要: Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2310.15533v1
• Date: Tue, 24 Oct 2023 05:37:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 20:32:10.945806
• Title: Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning
• Title（参考訳）: 協調サンプル選択とコントラスト半監督学習を用いた雑音ラベルによる学習
• Authors: Qing Miao, Xiaohe Wu, Chao Xu, Yanli Ji, Wangmeng Zuo, Yiwen Guo, Zhaopeng Meng
• Abstract要約: Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。 半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
• 参考スコア（独自算出の注目度）: 76.00798972439004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning with noisy labels (LNL) has been extensively studied, with existing approaches typically following a framework that alternates between clean sample selection and semi-supervised learning (SSL). However, this approach has a limitation: the clean set selected by the Deep Neural Network (DNN) classifier, trained through self-training, inevitably contains noisy samples. This mixture of clean and noisy samples leads to misguidance in DNN training during SSL, resulting in impaired generalization performance due to confirmation bias caused by error accumulation in sample selection. To address this issue, we propose a method called Collaborative Sample Selection (CSS), which leverages the large-scale pre-trained model CLIP. CSS aims to remove the mixed noisy samples from the identified clean set. We achieve this by training a 2-Dimensional Gaussian Mixture Model (2D-GMM) that combines the probabilities from CLIP with the predictions from the DNN classifier. To further enhance the adaptation of CLIP to LNL, we introduce a co-training mechanism with a contrastive loss in semi-supervised learning. This allows us to jointly train the prompt of CLIP and the DNN classifier, resulting in improved feature representation, boosted classification performance of DNNs, and reciprocal benefits to our Collaborative Sample Selection. By incorporating auxiliary information from CLIP and utilizing prompt fine-tuning, we effectively eliminate noisy samples from the clean set and mitigate confirmation bias during training. Experimental results on multiple benchmark datasets demonstrate the effectiveness of our proposed method in comparison with the state-of-the-art approaches.
• Abstract（参考訳）: ノイズラベルを用いた学習(LNL)は広く研究されており、既存のアプローチでは、クリーンサンプルの選択と半教師付き学習(SSL)を交互に行うフレームワークが一般的である。 しかし、このアプローチには制限があり、Deep Neural Network (DNN)分類器によって選択されたクリーンセットは、必然的にノイズの多いサンプルを含んでいる。 クリーンなサンプルとノイズの多いサンプルの混合は、SSL中のDNNトレーニングの誤認を招き、サンプル選択におけるエラー蓄積による確認バイアスによる一般化性能を損なう。 この問題に対処するために,大規模事前学習モデルクリップを活用した協調サンプル選択法(collaborative sample selection, css)を提案する。 CSSは、特定されたクリーンセットから混合ノイズサンプルを削除することを目的としている。 私たちは,CLIPの確率とDNN分類器の予測を組み合わせた2次元ガウス混合モデル (2D-GMM) を訓練することにより,これを実現できる。 また,CLIPのLNLへの適応性を高めるために,半教師付き学習における対照的な損失を伴う協調学習機構を導入する。 これにより、CLIPとDNN分類器のプロンプトを共同でトレーニングし、特徴表現の改善、DNNの分類性能の向上、協調サンプル選択に対する相互利益をもたらすことができる。 CLIPからの補助情報と即時微調整を活用することにより、クリーンセットからノイズサンプルを効果的に除去し、トレーニング中の確認バイアスを軽減する。 複数のベンチマークデータセットに対する実験結果から,提案手法の有効性を最先端手法と比較した。

関連論文リスト

• CLIPCleaner: Cleaning Noisy Labels with CLIP [36.434849361479316]
  textitCLIPCleanerは、効率的なオフライン、クリーンなサンプル選択のためのゼロショット分類器である。 textitCLIPCleanerは、ベンチマークデータセット上での競合や優れたパフォーマンスを実現する、シンプルなシングルステップのアプローチを提供する。
  論文  参考訳（メタデータ） (2024-08-19T14:05:58Z)
• Debiased Sample Selection for Combating Noisy Labels [24.296451733127956]
  サンプル選択におけるバイアス学習のためのnoIse-Tolerant Expert Model (ITEM)を提案する。 具体的には、トレーニングバイアスを軽減するために、複数の専門家と統合した堅牢なネットワークアーキテクチャを設計します。 2つのクラス識別型ミニバッチの混合によるトレーニングにより、モデルが不均衡なトレーニングセットの効果を緩和する。
  論文  参考訳（メタデータ） (2024-01-24T10:37:28Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• PASS: Peer-Agreement based Sample Selection for training with Noisy Labels [16.283722126438125]
  ノイズラベルサンプルの頻度は、深層学習において重要な課題となり、過剰適合効果を誘発する。 現在の方法論は、しばしばノイズとクリーンなラベルのサンプルを分離するために、小さな損失仮説や特徴に基づく選択に依存している。 本稿では,PASS (Peer-Agreement based Sample Selection) と呼ばれる新しいノイズラベル検出手法を提案する。
  論文  参考訳（メタデータ） (2023-03-20T00:35:33Z)
• Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup [54.09898347820941]
  自己教師付き学習(SSL)と教師付き学習(SL)の両方のシナリオに対して,textbfScenario-textbfAgnostic textbfMixup (SAMix)を提案する。 具体的には、2つの混合クラス間の局所的な滑らかさを最適化するために、混合生成の目的関数を仮説化し、検証する。 非自明な混合サンプルを効果的に提供し、転送可能な能力を向上させるラベルフリーな生成サブネットワークを設計する。
  論文  参考訳（メタデータ） (2021-11-30T14:49:59Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。