論文の概要: Pre-train to Gain: Robust Learning Without Clean Labels

• arxiv url: http://arxiv.org/abs/2511.20844v1
• Date: Tue, 25 Nov 2025 20:48:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.856648
• Title: Pre-train to Gain: Robust Learning Without Clean Labels
• Title（参考訳）: 習得のための事前トレーニング: クリーンラベルのないロバストな学習
• Authors: David Szczecina, Nicholas Pellegrino, Paul Fieguth,
• Abstract要約: ノイズの多いラベルでディープネットワークを訓練すると、一般化が悪く、精度が低下する。 ラベルなしで特徴抽出器のバックボーンを事前トレーニングすることで、クリーンなラベルのサブセットを必要とせずに、よりノイズの強いモデルをトレーニングできる。 提案手法は,低雑音レベルにおけるImageNet事前学習モデルに匹敵する結果を得たが,高雑音条件下ではかなり優れていた。
• 参考スコア（独自算出の注目度）: 1.1582652820340928
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Training deep networks with noisy labels leads to poor generalization and degraded accuracy due to overfitting to label noise. Existing approaches for learning with noisy labels often rely on the availability of a clean subset of data. By pre-training a feature extractor backbone without labels using self-supervised learning (SSL), followed by standard supervised training on the noisy dataset, we can train a more noise robust model without requiring a subset with clean labels. We evaluate the use of SimCLR and Barlow~Twins as SSL methods on CIFAR-10 and CIFAR-100 under synthetic and real world noise. Across all noise rates, self-supervised pre-training consistently improves classification accuracy and enhances downstream label-error detection (F1 and Balanced Accuracy). The performance gap widens as the noise rate increases, demonstrating improved robustness. Notably, our approach achieves comparable results to ImageNet pre-trained models at low noise levels, while substantially outperforming them under high noise conditions.
• Abstract（参考訳）: ノイズラベルによるディープネットワークのトレーニングは、一般化が悪く、ラベルノイズへの過度な適合により精度が低下する。 ノイズの多いラベルで学習するための既存のアプローチは、しばしばデータのクリーンなサブセットの可用性に依存します。 ラベルのない特徴抽出器のバックボーンを自己教師付き学習(SSL)を用いて事前トレーニングし、続いてノイズの多いデータセット上で標準的な教師付きトレーニングを行うことで、クリーンなラベルのサブセットを必要とせずに、よりノイズの多いロバストモデルをトレーニングできる。 我々は,CIFAR-10とCIFAR-100のSSL手法としてSimCLRとBarlow〜Twinsを合成および実世界の雑音下で評価した。 すべてのノイズレートにおいて、自己教師付き事前訓練は、分類精度を一貫して改善し、下流ラベルエラー検出(F1とバランスド精度)を強化する。 ノイズ率の増加に伴って性能ギャップが拡大し、ロバスト性が向上した。 特に,本手法は,低雑音レベルにおけるImageNet事前学習モデルに匹敵する結果を得たが,高雑音条件下ではかなり優れていた。

関連論文リスト

• How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime? [78.0226274470175]
  我々は、勾配更新にラベルノイズを導入することで、ニューラルネットワーク(NN)のテスト性能が向上するかどうか検討する。 学習中のラベルノイズの付加は,学習過程を支配することを防止し,雑音の記憶を抑制することを実証する。 対照的に、標準GDで訓練されたNNは、同じ低SNR環境でのノイズに過度に適応する傾向にある。
  論文  参考訳（メタデータ） (2025-10-20T13:28:13Z)
• Detect and Correct: A Selective Noise Correction Method for Learning with Noisy Labels [14.577138753507203]
  ノイズラベル(noisy labels)としても知られる偽アノテートサンプルは、ディープラーニングモデルの性能を著しく損なう可能性がある。 ノイズラベルを用いた学習には,大域的雑音推定とデータフィルタリングの2つのアプローチがある。 本手法は, 損失分布に基づいて, うるさいサンプルを同定する。 次に、ノイズとクリーンなサンプルを分離する選択プロセスを適用し、ノイズ遷移行列を学習してノイズのあるサンプルの損失を補正し、クリーンなデータは影響を受けないままにしておく。
  論文  参考訳（メタデータ） (2025-05-19T16:49:27Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Class Prototype-based Cleaner for Label Noise Learning [73.007001454085]
  半教師付き学習法は、雑音ラベル学習問題に対する現在のSOTAソリューションである。 textbfClass textbfPrototype-based label textbfCleaner。
  論文  参考訳（メタデータ） (2022-12-21T04:56:41Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [71.8462682319137]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)
• Contrastive Learning Improves Model Robustness Under Label Noise [3.756550107432323]
  コントラスト学習で学習した表現を用いて教師付きロバスト手法を初期化することで,ラベル雑音下での性能が著しく向上することを示す。 最も単純な方法でさえ、コントラスト学習の場合、高いラベルノイズの下で最先端のSSLメソッドを50%以上上回ることができます。
  論文  参考訳（メタデータ） (2021-04-19T00:27:58Z)
• LongReMix: Robust Learning with High Confidence Samples in a Noisy Label Environment [33.376639002442914]
  新しい2段ノイズラベルトレーニングアルゴリズムLongReMixを提案します。 CIFAR-10, CIFAR-100, WebVision, Clothing1M, Food101-NでLongReMixを試験した。 私たちのアプローチは、ほとんどのデータセットで最先端のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-03-06T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。