論文の概要: Understanding and Mitigating Human-Labelling Errors in Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2403.06289v1
• Date: Sun, 10 Mar 2024 19:05:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 20:59:31.351436
• Title: Understanding and Mitigating Human-Labelling Errors in Supervised Contrastive Learning
• Title（参考訳）: 教師付きコントラスト学習におけるヒューマンラベル誤りの理解と軽減
• Authors: Zijun Long and Lipeng Zhuang and George Killick and Richard McCreadie and Gerardo Aragon Camarasa and Paul Henderson
• Abstract要約: 我々は,SCL(Supervised Contrastive Learning)において,ヒューマンラベリングエラーがユニークな課題をもたらすことを示す。 その結果, 偽陽性例の99%の症例において, 学習過程に悪影響を及ぼすことが明らかとなった。 既存のノイズ除去法は主に合成ラベルの誤りに焦点を当て、非常に高い合成ノイズ率の非現実的な設定に取り組む。 そこで我々は,SCL-RHEという,ヒューマンラベリングエラーに対するロバスト性を持った新しいSCL目標を提案する。
• 参考スコア（独自算出の注目度）: 7.439049772394586
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human-annotated vision datasets inevitably contain a fraction of human mislabelled examples. While the detrimental effects of such mislabelling on supervised learning are well-researched, their influence on Supervised Contrastive Learning (SCL) remains largely unexplored. In this paper, we show that human-labelling errors not only differ significantly from synthetic label errors, but also pose unique challenges in SCL, different to those in traditional supervised learning methods. Specifically, our results indicate they adversely impact the learning process in the ~99% of cases when they occur as false positive samples. Existing noise-mitigating methods primarily focus on synthetic label errors and tackle the unrealistic setting of very high synthetic noise rates (40-80%), but they often underperform on common image datasets due to overfitting. To address this issue, we introduce a novel SCL objective with robustness to human-labelling errors, SCL-RHE. SCL-RHE is designed to mitigate the effects of real-world mislabelled examples, typically characterized by much lower noise rates (<5%). We demonstrate that SCL-RHE consistently outperforms state-of-the-art representation learning and noise-mitigating methods across various vision benchmarks, by offering improved resilience against human-labelling errors.
• Abstract（参考訳）: 人間の注釈付き視覚データセットには、必然的に人間の誤認例が少数含まれている。 このようなミスラベリングが教師付き学習に与える影響はよく研究されているが、SCL(Supervised Contrastive Learning)への影響は未解明である。 本稿では,従来の教師あり学習法と異なり,合成ラベルの誤りと人為的な誤りが顕著に異なるだけでなく,SCLに固有の課題が生じることを示す。 具体的には, 偽陽性例の99%の症例において, 学習過程に悪影響を及ぼすことが示された。 既存のノイズ緩和法は、主に合成ラベルのエラーに焦点をあて、非常に高い合成ノイズ率(40-80%)の非現実的な設定に取り組む。 この問題に対処するために,人間の誤りに頑健な新しいSCL目標であるSCL-RHEを導入する。 SCL-RHEは実世界の誤り事例の影響を緩和するために設計されており、典型的にはより低いノイズ率 (5%) で特徴づけられる。 我々は、SCL-RHEが、人間のエラーに対するレジリエンスの改善を提供することで、様々なビジョンベンチマークにおいて、最先端の表現学習やノイズ軽減手法を一貫して上回っていることを実証した。

関連論文リスト

• Enhancing Semi-supervised Learning with Noisy Zero-shot Pseudolabels [3.1614158472531435]
  ZMT(Zero-Shot Multi-Task Learning)は,ゼロショット擬似ラベルと教師なし表現学習を協調的に最適化するフレームワークである。 本手法では,擬似ラベルを組み込んだマルチタスク学習機構を導入し,擬似ラベルの品質の変動に頑健性を確保した。 ビジョン、言語、オーディオドメインの8つのデータセットを対象とした実験では、ZMTは従来のSSLメソッドと比較してエラーを最大56%削減している。
  論文  参考訳（メタデータ） (2025-02-18T06:41:53Z)
• Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
  既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。 人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。 本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-11-23T15:24:47Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Analyze the Robustness of Classifiers under Label Noise [5.708964539699851]
  教師付き学習におけるラベルノイズは、誤ったラベルまたは不正確なラベルによって特徴づけられ、モデル性能を著しく損なう。 本研究は, ラベルノイズが実用的応用に与える影響について, ますます関連する問題に焦点をあてる。
  論文  参考訳（メタデータ） (2023-12-12T13:51:25Z)
• Elucidating and Overcoming the Challenges of Label Noise in Supervised Contrastive Learning [7.439049772394586]
  本稿では,誤りのラベル付けによるバイアス軽減を目的とした,Debiased Supervised Contrastive Learningの新たな目標を提案する。 D-SCLは、様々な視覚ベンチマークにおいて、表現学習の最先端技術より一貫して優れていることを実証する。
  論文  参考訳（メタデータ） (2023-11-25T10:04:42Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [77.45468386115306]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。 我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。 まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。 第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
  論文  参考訳（メタデータ） (2023-07-28T09:03:19Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• Which Strategies Matter for Noisy Label Classification? Insight into Loss and Uncertainty [7.20844895799647]
  ラベルノイズは、ディープニューラルネットワークの一般化性能を低下させる重要な要因である。 学習過程を通じてサンプルの損失値と不確実性値がどのように変化するかの分析結果を示す。 我々は,ノイズの影響を最小限に抑えつつ,清潔で情報的なサンプルを強調する新しいロバストなトレーニング手法を設計する。
  論文  参考訳（メタデータ） (2020-08-14T07:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。