論文の概要: An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise

• arxiv url: http://arxiv.org/abs/2501.01130v1
• Date: Thu, 02 Jan 2025 08:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:12:55.882129
• Title: An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
• Title（参考訳）: ロバストの包括的理論的枠組みによるラベルノイズに対する反トラスト的損失
• Authors: Jingyi Cui, Yi-Ge Zhang, Hengyu Liu, Yisen Wang,
• Abstract要約: 両立する対照的なパラダイムの下で、ロバストな損失に対する統一的な理論的枠組みを提案する。 ラベルノイズに対する教師付きコントラスト損失の理論的ロバスト性を検証するための基準となる任意のコントラスト損失に対する一般的なロバスト条件を導出する。 我々の理論は、従来の堅牢な手法の説明を提供する包括的枠組みであることを示す。
• 参考スコア（独自算出の注目度）: 20.696895070598643
• License:
• Abstract: Learning from noisy labels is a critical challenge in machine learning, with vast implications for numerous real-world scenarios. While supervised contrastive learning has recently emerged as a powerful tool for navigating label noise, many existing solutions remain heuristic, often devoid of a systematic theoretical foundation for crafting robust supervised contrastive losses. To address the gap, in this paper, we propose a unified theoretical framework for robust losses under the pairwise contrastive paradigm. In particular, we for the first time derive a general robust condition for arbitrary contrastive losses, which serves as a criterion to verify the theoretical robustness of a supervised contrastive loss against label noise. The theory indicates that the popular InfoNCE loss is in fact non-robust, and accordingly inspires us to develop a robust version of InfoNCE, termed Symmetric InfoNCE (SymNCE). Moreover, we highlight that our theory is an inclusive framework that provides explanations to prior robust techniques such as nearest-neighbor (NN) sample selection and robust contrastive loss. Validation experiments on benchmark datasets demonstrate the superiority of SymNCE against label noise.
• Abstract（参考訳）: ノイズの多いラベルから学ぶことは、機械学習において重要な課題であり、多くの現実のシナリオに多大な影響を及ぼす。 教師付きコントラスト学習は、最近ラベルノイズをナビゲートする強力なツールとして登場したが、多くの既存のソリューションはヒューリスティックであり、しばしば頑健な教師付きコントラスト的損失を生み出すための体系的な理論的基盤を欠いている。 このギャップに対処するため、本論文では、対の対照的なパラダイムの下で、ロバストな損失に対する統一的な理論的枠組みを提案する。 特に、ラベルノイズに対する教師付きコントラスト損失の理論的堅牢性を検証する基準として機能する任意のコントラスト損失に対する一般的なロバスト条件を初めて導出した。 この理論は、InfoNCEの損失は実際には損なわれず、Symmetric InfoNCE(SymNCE)と呼ばれるInfoNCEの堅牢なバージョンを開発するきっかけとなる。 さらに,本理論は,Nest-Nighbor (NN) サンプル選択や頑健なコントラスト損失といった,従来のロバストな手法の説明を提供する包括的フレームワークであることも強調した。 ベンチマークデータセットに対する検証実験は、ラベルノイズに対するSymNCEの優位性を実証している。

関連論文リスト

• Label Noise: Ignorance Is Bliss [20.341746708177055]
  マルチクラス、インスタンス依存ラベルノイズ下で学習するための新しい理論的枠組みを確立する。 本研究は,ラベルノイズを無視しながら経験的リスクを最小限に抑える,単純なEmphnoise Ignorant Empirical Risk Minimization(NI-ERM)の原則を支持する。
  論文  参考訳（メタデータ） (2024-10-31T17:03:25Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
  本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。 表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T12:20:29Z)
• Mitigating Memorization of Noisy Labels by Clipping the Model Prediction [43.11056374542014]
  クロスエントロピー(CE)の損失は、その非有界性のため、ノイズの多いラベルに対して堅牢ではないことが示されている。 我々は、ロジットベクトルのノルムをクランプして、それが定数で上界であることを保証するLogitClipを提案する。
  論文  参考訳（メタデータ） (2022-12-08T03:35:42Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• On the Role of Entropy-based Loss for Learning Causal Structures with Continuous Optimization [27.613220411996025]
  因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化する。 ガウス雑音の仮定に違反すると因果方向の同定が妨げられることを示す。 より一般的なエントロピーに基づく損失は、任意の雑音分布下での確率スコアと理論的に一致している。
  論文  参考訳（メタデータ） (2021-06-05T08:29:51Z)
• Lower-bounded proper losses for weakly supervised classification [73.974163801142]
  本稿では,弱いラベルが与えられた分類の弱い教師付き学習の問題について議論する。 サベージ表現を双対化する教師付き学習における適切な損失を表す表現定理を導出する。 提案手法の有効性を,不適切な損失や非有界損失と比較して実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-04T08:47:07Z)
• Adversarial Robustness of Supervised Sparse Coding [34.94566482399662]
  表現を学習すると同時に、正確な一般化境界と堅牢性証明を与えるモデルを考える。 線形エンコーダと組み合わされたスパーシティプロモーティングエンコーダを組み合わせた仮説クラスに着目した。 エンドツーエンドの分類のための堅牢性証明を提供する。
  論文  参考訳（メタデータ） (2020-10-22T22:05:21Z)
• Robust Imitation Learning from Noisy Demonstrations [81.67837507534001]
  我々は,対称的損失を伴う分類リスクを最適化することにより,ロバストな模倣学習を実現することができることを示す。 擬似ラベルと協調学習を効果的に組み合わせた新しい模倣学習法を提案する。 連続制御ベンチマークによる実験結果から,本手法は最先端手法よりも頑健であることがわかった。
  論文  参考訳（メタデータ） (2020-10-20T10:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。