論文の概要: Transform consistency for learning with noisy labels
- arxiv url: http://arxiv.org/abs/2103.13872v1
- Date: Thu, 25 Mar 2021 14:33:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-26 17:56:38.836708
- Title: Transform consistency for learning with noisy labels
- Title(参考訳): 雑音ラベルを用いた学習のための変換整合性
- Authors: Rumeng Yi, Yaping Huang
- Abstract要約: 単一のネットワークのみを用いてクリーンサンプルを同定する手法を提案する。
きれいなサンプルは元のイメージおよび変形したイメージのための一貫した予測に達することを好みます。
ノイズラベルの負の影響を軽減するために,オフラインのハードラベルとオンラインのソフトラベルを用いて分類損失を設計する。
- 参考スコア(独自算出の注目度): 9.029861710944704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is crucial to distinguish mislabeled samples for dealing with noisy
labels. Previous methods such as Coteaching and JoCoR introduce two different
networks to select clean samples out of the noisy ones and only use these clean
ones to train the deep models. Different from these methods which require to
train two networks simultaneously, we propose a simple and effective method to
identify clean samples only using one single network. We discover that the
clean samples prefer to reach consistent predictions for the original images
and the transformed images while noisy samples usually suffer from inconsistent
predictions. Motivated by this observation, we introduce to constrain the
transform consistency between the original images and the transformed images
for network training, and then select small-loss samples to update the
parameters of the network. Furthermore, in order to mitigate the negative
influence of noisy labels, we design a classification loss by using the
off-line hard labels and on-line soft labels to provide more reliable
supervisions for training a robust model. We conduct comprehensive experiments
on CIFAR-10, CIFAR-100 and Clothing1M datasets. Compared with the baselines, we
achieve the state-of-the-art performance. Especially, in most cases, our
proposed method outperforms the baselines by a large margin.
- Abstract(参考訳): 騒がしいラベルを扱うために誤記されたサンプルを区別することが重要である。
CoteachingやJoCoRといった従来の手法では、2つの異なるネットワークを導入して、ノイズの多いものからクリーンなサンプルを選択し、これらクリーンなものを使って深層モデルのトレーニングを行っている。
2つのネットワークを同時に訓練するこれらの方法とは違って、1つのネットワークのみを用いてクリーンサンプルを識別する簡易かつ効率的な手法を提案する。
清潔なサンプルは元の画像と変換された画像の一貫した予測に到達するのが好ましいが、ノイズの多いサンプルは通常一貫性のない予測に苦しむ。
本研究の目的は,ネットワークトレーニングにおいて,元の画像と変換された画像との変換一貫性を制約し,ネットワークのパラメータを更新するために小さなサンプルを選択することである。
さらに,ノイズラベルの悪影響を軽減するために,オフラインハードラベルとオンラインソフトラベルを用いて分類損失を設計し,ロバストモデルをトレーニングするためのより信頼性の高い監督を提供する。
CIFAR-10, CIFAR-100, Clothing1Mデータセットに関する総合的な実験を行った。
ベースラインと比較して、最先端のパフォーマンスを実現します。
特に,ほとんどの場合,提案手法はベースラインよりも大きなマージンで性能が向上する。
関連論文リスト
- Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳(メタデータ) (2023-10-16T14:43:27Z) - PASS: Peer-Agreement based Sample Selection for training with Noisy
Labels [30.922188228545906]
モデルが過度に適合する傾向にあるため、ノイズラベルはディープラーニングにおいて大きな課題となる。
ピアアグリメントに基づく新しいサンプル選択(PASS)を提案する。
次に、合意スコアに自動しきい値付け手法を適用し、クリーンでノイズの多いラベルサンプルを選択する。
論文 参考訳(メタデータ) (2023-03-20T00:35:33Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳(メタデータ) (2022-08-05T14:47:22Z) - Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。
現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。
本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
論文 参考訳(メタデータ) (2022-07-21T08:16:31Z) - Sample Prior Guided Robust Model Learning to Suppress Noisy Labels [8.119439844514973]
本稿では,サンプルの事前知識を発生させることで雑音を抑えるための深層モデルの学習を行う新しいフレームワークPGDFを提案する。
我々のフレームワークは、より有益なハードクリーンなサンプルをクリーンにラベル付けされたセットに保存することができる。
我々は,CIFAR-10とCIFAR-100に基づく合成データセットと,WebVisionとChrothing1Mを用いた実世界のデータセットを用いて評価を行った。
論文 参考訳(メタデータ) (2021-12-02T13:09:12Z) - S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。
提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。
提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文 参考訳(メタデータ) (2021-11-22T15:49:20Z) - Sample selection for efficient image annotation [14.695979686066066]
監視対象検出は、人間レベルのパフォーマンスを達成する多くのベンチマークデータセットで成功したことが証明されている。
ラベルなしデータセットから最も有益な画像をサンプリングする効率的な画像選択手法を提案する。
本手法は,完全な手動ラベリング設定と比較して,手動アノテーション作業の最大80%を削減でき,ランダムサンプリングよりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2021-05-10T21:25:10Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳(メタデータ) (2021-03-24T07:26:07Z) - Bridging In- and Out-of-distribution Samples for Their Better
Discriminability [18.84265231678354]
2つの中間に位置するサンプルを考慮し、それらをネットワークのトレーニングに使用する。
我々は複数の画像変換を用いて、様々な方法で入力を破損させ、重大度レベルが異なるようなサンプルを生成する。
クリーンなIDサンプルをトレーニングしたネットワークを用いて,単一の画像変換によって生成されたサンプルが,IDとOODの間にどこにあるかを推定する。
論文 参考訳(メタデータ) (2021-01-07T11:34:18Z) - Salvage Reusable Samples from Noisy Data for Robust Learning [70.48919625304]
本稿では,Web画像を用いた深部FGモデルのトレーニングにおいて,ラベルノイズに対処するための再利用可能なサンプル選択と修正手法を提案する。
私たちのキーとなるアイデアは、再利用可能なサンプルの追加と修正を行い、それらをクリーンな例とともに活用してネットワークを更新することです。
論文 参考訳(メタデータ) (2020-08-06T02:07:21Z) - DivideMix: Learning with Noisy Labels as Semi-supervised Learning [111.03364864022261]
ノイズラベルを学習するためのフレームワークであるDivideMixを提案する。
複数のベンチマークデータセットの実験は、最先端の手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2020-02-18T06:20:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。