Fugu-MT 論文翻訳(概要): Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels

論文の概要: Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels

arxiv url: http://arxiv.org/abs/2406.16966v1
Date: Sat, 22 Jun 2024 04:49:39 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 19:10:10.488900
Title: Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels
Title（参考訳）: ソフトラベルを用いた合成サンプルによる雑音重畳の緩和
Authors: Yangdi Lu, Wenbo He,
Abstract要約: ノイズラベルは、特にクラウドソーシングやWeb検索から派生した大規模データセットにおいて、現実世界のデータセットにおいてユビキタスである。トレーニング中にノイズの多いラベルを過度に適合させる傾向にあるため、ノイズの多いデータセットでディープニューラルネットワークをトレーニングすることは難しい。ノイズラベルの影響を軽減するために,新しい合成サンプルを用いてモデルを訓練するフレームワークを提案する。
参考スコア（独自算出の注目度）: 13.314778587751588
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Noisy labels are ubiquitous in real-world datasets, especially in the large-scale ones derived from crowdsourcing and web searching. It is challenging to train deep neural networks with noisy datasets since the networks are prone to overfitting the noisy labels during training, resulting in poor generalization performance. During an early learning phase, deep neural networks have been observed to fit the clean samples before memorizing the mislabeled samples. In this paper, we dig deeper into the representation distributions in the early learning phase and find that, regardless of their noisy labels, learned representations of images from the same category still congregate together. Inspired by it, we propose a framework that trains the model with new synthetic samples to mitigate the impact of noisy labels. Specifically, we propose a mixing strategy to create the synthetic samples by aggregating original samples with their top-K nearest neighbours, wherein the weights are calculated using a mixture model learning from the per-sample loss distribution. To enhance the performance in the presence of extreme label noise, we estimate the soft targets by gradually correcting the noisy labels. Furthermore, we demonstrate that the estimated soft targets yield a more accurate approximation to ground truth labels and the proposed method produces a superior quality of learned representations with more separated and clearly bounded clusters. The extensive experiments in two benchmarks (CIFAR-10 and CIFAR-100) and two larg-scale real-world datasets (Clothing1M and Webvision) demonstrate that our approach outperforms the state-of-the-art methods and robustness of the learned representation.
Abstract（参考訳）: ノイズラベルは、特にクラウドソーシングやWeb検索から派生した大規模データセットにおいて、現実世界のデータセットにおいてユビキタスである。トレーニング中にノイズラベルを過度に適合させる傾向にあるため、ノイズの多いデータセットでディープニューラルネットワークをトレーニングすることは困難であり、結果として一般化性能は低下する。早期学習期間中、深層ニューラルネットワークは、誤ってラベル付けされたサンプルを記憶する前にクリーンなサンプルに適合することが観察されている。本稿では,初期学習段階における表現分布を深く掘り下げ,ノイズラベルによらず,同じカテゴリのイメージの学習表現がいっしょに集まっていることを見出した。そこで本研究では,ノイズラベルの影響を軽減するために,新しい合成サンプルを用いてモデルを訓練するフレームワークを提案する。具体的には, 原試料を最寄りの近傍に凝集させて合成試料を合成する方法を提案し, 試料当たりの損失分布から学習した混合モデルを用いて重量を算出する。極端ラベルノイズの存在下での性能を高めるため,ノイズラベルを徐々に補正することにより,ソフトターゲットを推定する。さらに, 推定したソフトターゲットは, より正確な真実ラベルの近似を導出し, 提案手法は, より分離された, 明確に有界なクラスタを持つ学習表現の優れた品質が得られることを示した。 2つのベンチマーク(CIFAR-10とCIFAR-100)と2つの大規模実世界のデータセット(Clothing1MとWebvision)の広範な実験により、我々のアプローチは、最先端の手法と学習表現の堅牢性より優れていることが示された。

関連論文リスト

Robust Noisy Label Learning via Two-Stream Sample Distillation [48.73316242851264]
ノイズラベル学習は、ノイズラベルの監督の下で堅牢なネットワークを学習することを目的としている。我々はTSSD(Two-Stream Sample Distillation)と呼ばれるシンプルで効果的なサンプル選択フレームワークを設計する。このフレームワークは、ネットワークトレーニングの堅牢性を改善するために、クリーンなラベルでより高品質なサンプルを抽出することができる。
論文参考訳（メタデータ） (2024-04-16T12:18:08Z)
Pairwise Similarity Distribution Clustering for Noisy Label Learning [0.0]
ノイズラベル学習は、ノイズラベルを持つ大量のサンプルを使用してディープニューラルネットワークをトレーニングすることを目的としている。トレーニングサンプルを1つのクリーンなセットと別のノイズのあるセットに分割する,単純で効果的なサンプル選択アルゴリズムを提案する。 CIFAR-10、CIFAR-100、Clothing1Mといった様々なベンチマークデータセットの実験結果は、最先端の手法よりも大幅に改善されている。
論文参考訳（メタデータ） (2024-04-02T11:30:22Z)
Manifold DivideMix: A Semi-Supervised Contrastive Learning Framework for Severe Label Noise [4.90148689564172]
実世界のデータセットには、データセットのどのクラスにも意味のないノイズの多いラベルサンプルが含まれている。最先端の手法の多くは、IDラベル付きノイズサンプルを半教師付き学習のためのラベルなしデータとして利用する。自己指導型トレーニングの利点を生かして,すべてのトレーニングデータからの情報を活用することを提案する。
論文参考訳（メタデータ） (2023-08-13T23:33:33Z)
Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling [22.62790706276081]
ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
論文参考訳（メタデータ） (2022-08-23T02:06:38Z)
Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文参考訳（メタデータ） (2022-08-05T14:47:22Z)
Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文参考訳（メタデータ） (2022-02-04T15:46:27Z)
Sample Prior Guided Robust Model Learning to Suppress Noisy Labels [8.119439844514973]
本稿では,サンプルの事前知識を発生させることで雑音を抑えるための深層モデルの学習を行う新しいフレームワークPGDFを提案する。我々のフレームワークは、より有益なハードクリーンなサンプルをクリーンにラベル付けされたセットに保存することができる。我々は,CIFAR-10とCIFAR-100に基づく合成データセットと,WebVisionとChrothing1Mを用いた実世界のデータセットを用いて評価を行った。
論文参考訳（メタデータ） (2021-12-02T13:09:12Z)
S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文参考訳（メタデータ） (2021-11-22T15:49:20Z)
Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations [54.400167806154535]
ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
論文参考訳（メタデータ） (2021-10-22T22:42:11Z)
Transform consistency for learning with noisy labels [9.029861710944704]
単一のネットワークのみを用いてクリーンサンプルを同定する手法を提案する。きれいなサンプルは元のイメージおよび変形したイメージのための一貫した予測に達することを好みます。ノイズラベルの負の影響を軽減するために,オフラインのハードラベルとオンラインのソフトラベルを用いて分類損失を設計する。
論文参考訳（メタデータ） (2021-03-25T14:33:13Z)
DivideMix: Learning with Noisy Labels as Semi-supervised Learning [111.03364864022261]
ノイズラベルを学習するためのフレームワークであるDivideMixを提案する。複数のベンチマークデータセットの実験は、最先端の手法よりも大幅に改善されている。
論文参考訳（メタデータ） (2020-02-18T06:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。