論文の概要: Selective-Supervised Contrastive Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2203.04181v1
• Date: Tue, 8 Mar 2022 16:12:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 13:13:05.825380
• Title: Selective-Supervised Contrastive Learning with Noisy Labels
• Title（参考訳）: 雑音ラベルを用いた選択的教師付きコントラスト学習
• Authors: Shikun Li, Xiaobo Xia, Shiming Ge, Tongliang Liu
• Abstract要約: 本稿では,頑健な表現を学習し,ノイズラベルを処理するために,選択的教師付きコントラスト学習(Sel-CL)を提案する。 具体的には、Sel-CLは、表現学習に強力な教師付きコントラスト学習(Sup-CL)を拡張しているが、ノイズラベルがある場合には劣化する。 セル-CLは、ノイズラベルによって構築されたノイズペアが表現学習を誤解させるという、Sup-CLの問題の直接的な原因に取り組む。
• 参考スコア（独自算出の注目度）: 73.81900964991092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep networks have strong capacities of embedding data into latent representations and finishing following tasks. However, the capacities largely come from high-quality annotated labels, which are expensive to collect. Noisy labels are more affordable, but result in corrupted representations, leading to poor generalization performance. To learn robust representations and handle noisy labels, we propose selective-supervised contrastive learning (Sel-CL) in this paper. Specifically, Sel-CL extend supervised contrastive learning (Sup-CL), which is powerful in representation learning, but is degraded when there are noisy labels. Sel-CL tackles the direct cause of the problem of Sup-CL. That is, as Sup-CL works in a \textit{pair-wise} manner, noisy pairs built by noisy labels mislead representation learning. To alleviate the issue, we select confident pairs out of noisy ones for Sup-CL without knowing noise rates. In the selection process, by measuring the agreement between learned representations and given labels, we first identify confident examples that are exploited to build confident pairs. Then, the representation similarity distribution in the built confident pairs is exploited to identify more confident pairs out of noisy pairs. All obtained confident pairs are finally used for Sup-CL to enhance representations. Experiments on multiple noisy datasets demonstrate the robustness of the learned representations by our method, following the state-of-the-art performance. Source codes are available at https://github.com/ShikunLi/Sel-CL
• Abstract（参考訳）: ディープネットワークは、データを潜在表現に埋め込み、次のタスクを終える能力を持っている。 しかし、そのキャパシティは主に高品質なアノテートラベルであり、収集には高価である。 ノイズラベルはより手頃な価格だが、結果として表現が腐敗し、一般化性能が低下する。 本稿では,頑健な表現を学習し,雑音ラベルを扱うために,選択教師付きコントラスト学習(sel-cl)を提案する。 具体的には、sel-clは表現学習において強力な教師付きコントラスト学習(sup-cl)を拡張するが、ノイズラベルが存在すると劣化する。 セル-CLはSup-CLの問題の直接的な原因に取り組む。 つまり、sup-cl は \textit{pair-wise} 方式で動作し、ノイズラベルによって構築されるノイズペアは、誤解を招く表現学習である。 この問題を軽減するために,ノイズ率を知らずにsup-clに対して,雑音から自信のあるペアを選択する。 選択過程において、学習した表現と与えられたラベルの一致を測定することにより、まず、自信あるペアを構築するために利用される自信ある例を識別する。 次に、構築された自信ペアにおける表現類似性分布を利用して、ノイズペアからより自信のあるペアを識別する。 得られた信頼対はすべて最終的にSup-CLで表現を強化するために使用される。 複数のノイズデータセットに対する実験は、最先端の性能に従って、我々の手法による学習された表現の堅牢性を示す。 ソースコードはhttps://github.com/ShikunLi/Sel-CLで入手できる。

関連論文リスト

• Imbalanced Medical Image Segmentation with Pixel-dependent Noisy Labels [23.049622621090453]
  クラス不均衡な画素依存雑音ラベルに対処するために,CLCS(Collaborative Learning with Curriculum Selection)を提案する。 CLCSはCNS(Curriculum Noisy Label Sample Selection)とNBL(Noss Balance Loss)の2つのモジュールで構成される。
  論文  参考訳（メタデータ） (2025-01-12T00:59:57Z)
• Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
  チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。 従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。 まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
  論文  参考訳（メタデータ） (2023-08-14T06:04:50Z)
• Twin Contrastive Learning with Noisy Labels [45.31997043789471]
  我々は、頑健な表現を学習し、分類のためのノイズラベルを処理する、新しい双子のコントラスト学習モデルTCLを提案する。 TCLは、CIFAR-10で90%ノイズラベルで7.5%改善した。
  論文  参考訳（メタデータ） (2023-03-13T08:53:47Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels [4.876988315151037]
  ディープニューラルネットワークはノイズラベルを過度に適合させる傾向があり、結果として一般化性能は低下する。 ノイズラベルを段階的に補正し,モデルを改良する自己アンサンブルラベル補正法(SELC)を提案する。 SELCは、クラス条件、インスタンス依存、および実世界のラベルノイズの存在において、より有望で安定した結果を得る。
  論文  参考訳（メタデータ） (2022-05-02T18:42:47Z)
• Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
  監督されたディープラーニングは、大量の注釈付き例に依存している。 典型的な方法は、複数のノイズアノテータから学習することである。 本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T16:57:00Z)
• Instance-dependent Label-noise Learning under a Structural Causal Model [92.76400590283448]
  ラベルノイズはディープラーニングアルゴリズムの性能を劣化させる。 構造因果モデルを活用することにより,実例依存型ラベルノイズ学習のための新しい生成手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T10:42:54Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Combining Self-Supervised and Supervised Learning with Noisy Labels [41.627404715407586]
  畳み込みニューラルネットワーク(CNN)は、ノイズの多いラベルに容易に適合する。 CNNを堅牢にトレーニングすることは、大きな課題でした。
  論文  参考訳（メタデータ） (2020-11-16T18:13:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。