論文の概要: Sample Prior Guided Robust Model Learning to Suppress Noisy Labels
- arxiv url: http://arxiv.org/abs/2112.01197v2
- Date: Sun, 5 Dec 2021 09:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 12:07:04.362321
- Title: Sample Prior Guided Robust Model Learning to Suppress Noisy Labels
- Title(参考訳): 雑音ラベル抑制のための事前指導型ロバストモデル学習
- Authors: Wenkai Chen, Chuang Zhu, Yi Chen
- Abstract要約: 本稿では,サンプルの事前知識を発生させることで雑音を抑えるための深層モデルの学習を行う新しいフレームワークPGDFを提案する。
我々のフレームワークは、より有益なハードクリーンなサンプルをクリーンにラベル付けされたセットに保存することができる。
我々は,CIFAR-10とCIFAR-100に基づく合成データセットと,WebVisionとChrothing1Mを用いた実世界のデータセットを用いて評価を行った。
- 参考スコア(独自算出の注目度): 8.119439844514973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Imperfect labels are ubiquitous in real-world datasets and seriously harm the
model performance. Several recent effective methods for handling noisy labels
have two key steps: 1) dividing samples into cleanly labeled and wrongly
labeled sets by training loss, 2) using semi-supervised methods to generate
pseudo-labels for samples in the wrongly labeled set. However, current methods
always hurt the informative hard samples due to the similar loss distribution
between the hard samples and the noisy ones. In this paper, we proposed PGDF
(Prior Guided Denoising Framework), a novel framework to learn a deep model to
suppress noise by generating the samples' prior knowledge, which is integrated
into both dividing samples step and semi-supervised step. Our framework can
save more informative hard clean samples into the cleanly labeled set. Besides,
our framework also promotes the quality of pseudo-labels during the
semi-supervised step by suppressing the noise in the current pseudo-labels
generating scheme. To further enhance the hard samples, we reweight the samples
in the cleanly labeled set during training. We evaluated our method using
synthetic datasets based on CIFAR-10 and CIFAR-100, as well as on the
real-world datasets WebVision and Clothing1M. The results demonstrate
substantial improvements over state-of-the-art methods.
- Abstract(参考訳): 不完全なラベルは現実世界のデータセットに広く存在しており、モデルのパフォーマンスを著しく損なう。
最近の雑音ラベル処理には2つの重要なステップがある。
1) サンプルを清潔にラベル付けし、不正にラベル付けしたセットに、トレーニング損失により分割すること。
2) 半教師付き手法を用いて, 間違ったラベル付き集合のサンプルの擬似ラベルを生成する。
しかし, 従来の手法は, 硬度試料と雑音試料との類似の損失分布により, 常に情報的硬度試料を破損させる。
本稿では,サンプルの事前知識を生成し,ノイズを抑制するための深層モデルを構築するための新しいフレームワークであるpgdf(prior guided denoising framework)を提案し,サンプルの分割ステップと半教師付きステップの両方に統合した。
私たちのフレームワークは、より情報に富んだクリーンなサンプルをクリーンなラベル付きセットに保存できます。
さらに, 疑似ラベル生成方式のノイズを抑制することにより, 半教師あり段階における擬似ラベルの品質向上を図る。
ハードサンプルをさらに強化するため、トレーニング中にクリーンラベル付きセットでサンプルを重み付けする。
CIFAR-10とCIFAR-100と実世界のWebVisionとChrothing1Mに基づく合成データセットを用いて評価を行った。
その結果,最先端手法よりも大幅に改善が見られた。
関連論文リスト
- Learning with Imbalanced Noisy Data by Preventing Bias in Sample
Selection [82.43311784594384]
実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。
不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2024-02-17T10:34:53Z) - Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳(メタデータ) (2023-10-16T14:43:27Z) - Manifold DivideMix: A Semi-Supervised Contrastive Learning Framework for
Severe Label Noise [4.90148689564172]
実世界のデータセットには、データセットのどのクラスにも意味のないノイズの多いラベルサンプルが含まれている。
最先端の手法の多くは、IDラベル付きノイズサンプルを半教師付き学習のためのラベルなしデータとして利用する。
自己指導型トレーニングの利点を生かして,すべてのトレーニングデータからの情報を活用することを提案する。
論文 参考訳(メタデータ) (2023-08-13T23:33:33Z) - Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and
Uncurated Unlabeled Data [70.25049762295193]
本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。
本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。
実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-07-17T08:31:59Z) - PASS: Peer-Agreement based Sample Selection for training with Noisy
Labels [30.922188228545906]
モデルが過度に適合する傾向にあるため、ノイズラベルはディープラーニングにおいて大きな課題となる。
ピアアグリメントに基づく新しいサンプル選択(PASS)を提案する。
次に、合意スコアに自動しきい値付け手法を適用し、クリーンでノイズの多いラベルサンプルを選択する。
論文 参考訳(メタデータ) (2023-03-20T00:35:33Z) - Learning from Noisy Labels with Coarse-to-Fine Sample Credibility
Modeling [22.62790706276081]
ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。
従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。
本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
論文 参考訳(メタデータ) (2022-08-23T02:06:38Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳(メタデータ) (2022-08-05T14:47:22Z) - S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。
提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。
提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文 参考訳(メタデータ) (2021-11-22T15:49:20Z) - An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for
Noisy Labels [0.9699640804685629]
大規模なデータセットには、ディープニューラルネットワーク(DNN)によって記憶されるような、ラベルのずれたサンプルが含まれている傾向があります。
本稿では, ノイズデータからクリーンなサンプルを効果的に選択するために, アンサンブルノイズ・ロバスト K-fold Cross-Validation Selection (E-NKCVS) を提案する。
我々は,ラベルが手動で異なる雑音比で破損した様々な画像・テキスト分類タスクに対するアプローチを評価する。
論文 参考訳(メタデータ) (2021-07-06T02:14:52Z) - Training Classifiers that are Universally Robust to All Label Noise
Levels [91.13870793906968]
ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。
ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。
我々の枠組みは概して中~高騒音レベルにおいて優れています。
論文 参考訳(メタデータ) (2021-05-27T13:49:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。