論文の概要: Decoupling Representation and Classifier for Noisy Label Learning
- arxiv url: http://arxiv.org/abs/2011.08145v1
- Date: Mon, 16 Nov 2020 18:13:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 00:44:25.710521
- Title: Decoupling Representation and Classifier for Noisy Label Learning
- Title（参考訳）: 雑音ラベル学習のためのデカップリング表現と分類器
- Authors: Hui Zhang, Quanming Yao
- Abstract要約: 畳み込みニューラルネットワーク(ConvNet)は、ノイズラベルを容易に記憶することができる。
ConvNetsを堅牢にトレーニングすることは、大きな課題でした。
本稿では,雑音ラベルから頑健に学習するための新しい手法,すなわちREEDを提案する。
- 参考スコア（独自算出の注目度）: 35.85519762191644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since convolutional neural networks (ConvNets) can easily memorize noisy
labels, which are ubiquitous in visual classification tasks, it has been a
great challenge to train ConvNets against them robustly. Various solutions,
e.g., sample selection, label correction, and robustifying loss functions, have
been proposed for this challenge, and most of them stick to the end-to-end
training of the representation (feature extractor) and classifier. In this
paper, by a deep rethinking and careful re-examining on learning behaviors of
the representation and classifier, we discover that the representation is much
more fragile in the presence of noisy labels than the classifier. Thus, we are
motivated to design a new method, i.e., REED, to leverage above discoveries to
learn from noisy labels robustly. The proposed method contains three stages,
i.e., obtaining the representation by self-supervised learning without any
labels, transferring the noisy label learning problem into a semisupervised one
by the classifier directly and reliably trained with noisy labels, and joint
semi-supervised retraining of both the representation and classifier. Extensive
experiments are performed on both synthetic and real benchmark datasets.
Results demonstrate that the proposed method can beat the state-of-the-art ones
by a large margin, especially under high noise level.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(ConvNets)は、視覚分類タスクにおいてユビキタスなノイズラベルを容易に記憶することができるため、ConvNetsを堅牢にトレーニングすることは大きな課題である。
この課題に対して、サンプル選択、ラベル補正、ロバスト化損失関数などの様々な解が提案され、そのほとんどは表現(機能抽出器)と分類器のエンドツーエンドの訓練に固執している。
本稿では,表現と分類器の学習行動を深く再検討し,注意深い再検討を行い,その表現が分類器よりも雑音ラベルの存在下ではずっと脆弱であることを示す。
そこで我々は,上記の発見を生かして雑音ラベルから頑健に学習するための新しい手法,すなわちreedの設計を動機付ける。
提案手法は,ラベル無しで自己教師付き学習による表現を得る,雑音ラベル学習問題を分類器によって直接かつ確実に訓練された半教師付き学習に移す,表現と分類器の両方の半教師付き再訓練を行うという3つの段階を含む。
総合的な実験は、合成および実際のベンチマークデータセットの両方で実施される。
提案手法は,特に高騒音下で,最先端の手法を大きなマージンで打ち負かすことができることを示す。
関連論文リスト
- Noisy Label Processing for Classification: A Survey [2.8821062918162146]
長い、退屈なデータアノテーションのプロセスでは、アノテーションはミスをしがちで、画像のラベルが正しくない。
コンピュータビジョンタスク、特に分類タスクにおいて、ノイズの多いラベルと戦うことが不可欠である。
実世界のデータで導かれる合成ラベルノイズパターンを生成するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-05T15:11:09Z) - ERASE: Error-Resilient Representation Learning on Graphs for Label Noise
Tolerance [53.73316938815873]
本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。
ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。
提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
論文 参考訳（メタデータ） (2023-12-13T17:59:07Z) - Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。
擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。
アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
論文 参考訳（メタデータ） (2022-06-13T14:04:57Z) - Context-based Virtual Adversarial Training for Text Classification with
Noisy Labels [1.9508698179748525]
本研究では,テキスト分類器が雑音ラベルに過度に収まらないよう,コンテキストベースの仮想対位訓練(ConVAT)を提案する。
従来の手法とは異なり,提案手法は入力よりも文脈レベルで逆学習を行う。
2種類のラベルノイズを持つ4つのテキスト分類データセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-05-29T14:19:49Z) - Unified Robust Training for Graph NeuralNetworks against Label Noise [12.014301020294154]
半監督設定でノイズの多いラベルをグラフ上で学習するための新しいフレームワークである UnionNET を提案します。
提案手法は,GNNを頑健に訓練し,ラベル修正を同時に行うための統一的なソリューションを提供する。
論文 参考訳（メタデータ） (2021-03-05T01:17:04Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳（メタデータ） (2021-01-14T05:43:51Z) - Noisy Labels Can Induce Good Representations [53.47668632785373]
アーキテクチャがノイズラベルによる学習に与える影響について検討する。
ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。
この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
論文 参考訳（メタデータ） (2020-12-23T18:58:05Z) - Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。
大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。
本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
論文 参考訳（メタデータ） (2020-09-30T15:45:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。