論文の概要: CLIPCleaner: Cleaning Noisy Labels with CLIP

• arxiv url: http://arxiv.org/abs/2408.10012v2
• Date: Mon, 16 Sep 2024 11:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 00:56:51.324995
• Title: CLIPCleaner: Cleaning Noisy Labels with CLIP
• Title（参考訳）: CLIPCleaner: CLIPによるノイズラベルのクリーン化
• Authors: Chen Feng, Georgios Tzimiropoulos, Ioannis Patras,
• Abstract要約: textitCLIPCleanerは、効率的なオフライン、クリーンなサンプル選択のためのゼロショット分類器である。 textitCLIPCleanerは、ベンチマークデータセット上での競合や優れたパフォーマンスを実現する、シンプルなシングルステップのアプローチを提供する。
• 参考スコア（独自算出の注目度）: 36.434849361479316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning with Noisy labels (LNL) poses a significant challenge for the Machine Learning community. Some of the most widely used approaches that select as clean samples for which the model itself (the in-training model) has high confidence, e.g., `small loss', can suffer from the so called `self-confirmation' bias. This bias arises because the in-training model, is at least partially trained on the noisy labels. Furthermore, in the classification case, an additional challenge arises because some of the label noise is between classes that are visually very similar (`hard noise'). This paper addresses these challenges by proposing a method (\textit{CLIPCleaner}) that leverages CLIP, a powerful Vision-Language (VL) model for constructing a zero-shot classifier for efficient, offline, clean sample selection. This has the advantage that the sample selection is decoupled from the in-training model and that the sample selection is aware of the semantic and visual similarities between the classes due to the way that CLIP is trained. We provide theoretical justifications and empirical evidence to demonstrate the advantages of CLIP for LNL compared to conventional pre-trained models. Compared to current methods that combine iterative sample selection with various techniques, \textit{CLIPCleaner} offers a simple, single-step approach that achieves competitive or superior performance on benchmark datasets. To the best of our knowledge, this is the first time a VL model has been used for sample selection to address the problem of Learning with Noisy Labels (LNL), highlighting their potential in the domain.
• Abstract（参考訳）: Noisy labels(LNL)による学習は、機械学習コミュニティにとって大きな課題となる。 モデル自体(トレーニング中のモデル)が高い信頼性を持つクリーンなサンプルとして選択する最も広く使用されるアプローチのいくつかは、いわゆる‘自己確認’バイアスに悩まされる可能性がある。 このバイアスは、トレーニング中のモデルが少なくとも部分的にノイズラベルで訓練されているために生じる。 さらに分類の場合、ラベルノイズのいくつかは視覚的に非常に類似したクラス(`hard noise')の間にあるため、さらなる課題が生じる。 本稿では,効率的なオフライン,クリーンなサンプル選択のためのゼロショット分類器を構築するための強力なVision-Language (VL)モデルであるCLIPを利用する手法(\textit{CLIPCleaner})を提案することにより,これらの課題に対処する。 これは、サンプル選択がトレーニング中のモデルから切り離され、サンプル選択がCLIPのトレーニング方法によるクラス間の意味的および視覚的類似性を認識しているという利点がある。 従来の事前学習モデルと比較して,LNLに対するCLIPの利点を示す理論的正当性および実証的証拠を提供する。 反復的なサンプル選択と様々なテクニックを組み合わせる現在の方法と比較して、 \textit{CLIPCleaner} は、ベンチマークデータセット上での競合や優れたパフォーマンスを達成するための、単純で単一ステップのアプローチを提供する。 我々の知る限りでは、VLモデルがサンプル選択に使われ、LNL(Learning with Noisy Labels)の問題に対処し、ドメインにおけるVLの可能性を強調するのはこれが初めてである。

関連論文リスト

• Foster Adaptivity and Balance in Learning with Noisy Labels [26.309508654960354]
  我々はtextbfSelf-adaptivtextbfE とクラスバランスtextbfD 方式でラベルノイズに対処するための textbfSED という新しい手法を提案する。 平均教師モデルは、ノイズの多いサンプルのラベルを修正するために使用される。 また,検出した雑音に異なる重みを割り当てる自己適応型およびクラスバランスのサンプル再重み付け機構を提案する。
  論文  参考訳（メタデータ） (2024-07-03T03:10:24Z)
• Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning [76.00798972439004]
  Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。 半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
  論文  参考訳（メタデータ） (2023-10-24T05:37:20Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• PASS: Peer-Agreement based Sample Selection for training with Noisy Labels [16.283722126438125]
  ノイズラベルサンプルの頻度は、深層学習において重要な課題となり、過剰適合効果を誘発する。 現在の方法論は、しばしばノイズとクリーンなラベルのサンプルを分離するために、小さな損失仮説や特徴に基づく選択に依存している。 本稿では,PASS (Peer-Agreement based Sample Selection) と呼ばれる新しいノイズラベル検出手法を提案する。
  論文  参考訳（メタデータ） (2023-03-20T00:35:33Z)
• Class Prototype-based Cleaner for Label Noise Learning [73.007001454085]
  半教師付き学習法は、雑音ラベル学習問題に対する現在のSOTAソリューションである。 textbfClass textbfPrototype-based label textbfCleaner。
  論文  参考訳（メタデータ） (2022-12-21T04:56:41Z)
• NorMatch: Matching Normalizing Flows with Discriminative Classifiers for Semi-Supervised Learning [8.749830466953584]
  Semi-Supervised Learning (SSL)は、小さなラベル付きセットと大量のラベルなしデータを使ってモデルを学習することを目的としている。 この作業では、NorMatchというSSLの新しいフレームワークを紹介します。 数値的および視覚的な結果を通して、NorMatchはいくつかのデータセットで最先端のパフォーマンスを達成することを実証する。
  論文  参考訳（メタデータ） (2022-11-17T15:39:18Z)
• Centrality and Consistency: Two-Stage Clean Samples Identification for Learning with Instance-Dependent Noisy Labels [87.48541631675889]
  本稿では,2段階のクリーンサンプル識別手法を提案する。 まず,クリーンサンプルの早期同定にクラスレベルの特徴クラスタリング手法を用いる。 次に, 基底真理クラス境界に近い残余のクリーンサンプルについて, 一貫性に基づく新しい分類法を提案する。
  論文  参考訳（メタデータ） (2022-07-29T04:54:57Z)
• L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
  本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。 モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。 これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
  論文  参考訳（メタデータ） (2022-02-09T05:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。