論文の概要: Elucidating and Overcoming the Challenges of Label Noise in Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2311.16481v1
• Date: Sat, 25 Nov 2023 10:04:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-11-29 20:12:21.407930
• Title: Elucidating and Overcoming the Challenges of Label Noise in Supervised Contrastive Learning
• Title（参考訳）: 教師付きコントラスト学習におけるラベル雑音の課題の解明と克服
• Authors: Zijun Long, George Killick, Lipeng Zhuang, Richard McCreadie, Gerardo Aragon Camarasa, Paul Henderson
• Abstract要約: 本稿では,誤りのラベル付けによるバイアス軽減を目的とした,Debiased Supervised Contrastive Learningの新たな目標を提案する。 D-SCLは、様々な視覚ベンチマークにおいて、表現学習の最先端技術より一貫して優れていることを実証する。
• 参考スコア（独自算出の注目度）: 7.439049772394586
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Image classification datasets exhibit a non-negligible fraction of mislabeled examples, often due to human error when one class superficially resembles another. This issue poses challenges in supervised contrastive learning (SCL), where the goal is to cluster together data points of the same class in the embedding space while distancing those of disparate classes. While such methods outperform those based on cross-entropy, they are not immune to labeling errors. However, while the detrimental effects of noisy labels in supervised learning are well-researched, their influence on SCL remains largely unexplored. Hence, we analyse the effect of label errors and examine how they disrupt the SCL algorithm's ability to distinguish between positive and negative sample pairs. Our analysis reveals that human labeling errors manifest as easy positive samples in around 99% of cases. We, therefore, propose D-SCL, a novel Debiased Supervised Contrastive Learning objective designed to mitigate the bias introduced by labeling errors. We demonstrate that D-SCL consistently outperforms state-of-the-art techniques for representation learning across diverse vision benchmarks, offering improved robustness to label errors.
• Abstract（参考訳）: 画像分類データセットは、あるクラスが他のクラスに似ていたときに、しばしばヒューマンエラーのために、ラベルのつかないサンプルのごく一部を示す。 この問題は教師付きコントラスト学習(SCL)において、異なるクラスのデータを分散しながら、同じクラスのデータポイントを埋め込み空間にまとめることが目的である。 このような手法は、クロスエントロピーに基づく手法よりも優れているが、ラベル付けエラーには影響しない。 しかし、教師付き学習におけるノイズラベルの有害な影響はよく研究されているが、SCLに対する影響は未解明のままである。 そこで,ラベル誤りの影響を分析し,正と負のサンプル対を区別するSCLアルゴリズムの能力をいかに破壊するかを検討する。 解析の結果,ヒトのラベル付け誤りは99%の症例で容易な陽性例であることが判明した。 そこで我々は,誤りのラベル付けによって生じるバイアスを軽減するために考案された,新しい教師付き教師付きコントラスト学習目標であるd-sclを提案する。 我々は,D-SCLが多種多様な視覚ベンチマークで表現学習の最先端技術より一貫して優れており,ラベルエラーに対する堅牢性が向上していることを示した。

関連論文リスト

• Understanding and Mitigating Human-Labelling Errors in Supervised Contrastive Learning [7.439049772394586]
  我々は,SCL(Supervised Contrastive Learning)において,ヒューマンラベリングエラーがユニークな課題をもたらすことを示す。 その結果, 偽陽性例の99%の症例において, 学習過程に悪影響を及ぼすことが明らかとなった。 既存のノイズ除去法は主に合成ラベルの誤りに焦点を当て、非常に高い合成ノイズ率の非現実的な設定に取り組む。 そこで我々は,SCL-RHEという,ヒューマンラベリングエラーに対するロバスト性を持った新しいSCL目標を提案する。
  論文  参考訳（メタデータ） (2024-03-10T19:05:12Z)
• CLAF: Contrastive Learning with Augmented Features for Imbalanced Semi-Supervised Learning [40.5117833362268]
  半教師付き学習とコントラスト学習は、ポピュラーなアプリケーションでより良いパフォーマンスを達成するために徐々に組み合わせられてきた。 1つの一般的な方法は、擬似ラベルを未ラベルのサンプルに割り当て、擬似ラベルのサンプルから正と負のサンプルを選択して、対照的な学習を適用することである。 比較学習における少数クラスサンプルの不足を軽減するために,CLAF(Contrastive Learning with Augmented Features)を提案する。
  論文  参考訳（メタデータ） (2023-12-15T08:27:52Z)
• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• Complementary Labels Learning with Augmented Classes [22.460256396941528]
  補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。 CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。 ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-19T13:55:27Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
  非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T04:14:36Z)
• Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment [73.61888777504377]
  フル参照(FR)画像品質評価(IQA)は、その知覚的差異をプリズム品質基準で測定することにより、歪み画像の視覚的品質を評価する。 ラベルなしデータは、画像劣化または復元プロセスから容易に収集することができ、ラベルなしのトレーニングデータを利用してFR-IQA性能を高めることを奨励する。 本稿では, 半教師付き, 正の未ラベル学習(PU)を用いて, ラベルなしデータを活用し, オフレーヤの悪影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2022-04-19T09:10:06Z)
• Negative Selection by Clustering for Contrastive Learning in Human Activity Recognition [5.351176836203563]
  我々は,HAR(Human Activity Recognition)におけるクラスタリングによるネガティブな選択を行う新しいコントラスト学習フレームワークを提案する。 SimCLRと比較して、教師なしクラスタリング法を用いて、対照的な損失関数の負のペアを再定義し、同じクラスタの他のサンプルを隠蔽するソフトラベルを生成し、負のサンプルとして扱うことを避ける。 評価指標として平均F1スコアを用いて,USC-HAD,MotionSense,UCI-HARの3つのベンチマークデータセット上でClusterCLHARを評価する。
  論文  参考訳（メタデータ） (2022-03-23T06:54:16Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。