論文の概要: A Good Representation Detects Noisy Labels
- arxiv url: http://arxiv.org/abs/2110.06283v1
- Date: Tue, 12 Oct 2021 19:10:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-14 15:27:23.769088
- Title: A Good Representation Detects Noisy Labels
- Title（参考訳）: ノイズラベルを検知する良い表現法
- Authors: Zhaowei Zhu, Zihao Dong, Hao Cheng, Yang Liu
- Abstract要約: ラベルノイズは、誤った相関パターンを符号化し、ディープニューラルネットワーク(DNN)の一般化を損なう現実世界のデータセットに広まる
本稿では,ノイズラベルを検出するために,普遍的に適用可能なトレーニング不要なソリューションを提案する。
合成および実世界のラベルノイズによる実験は、トレーニングなしのソリューションがトレーニングベースのデータセットの大部分よりも大幅に改善されていることを示している。
- 参考スコア（独自算出の注目度）: 9.4092903583089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Label noise is pervasive in real-world datasets, which encodes wrong
correlation patterns and impairs the generalization of deep neural networks
(DNNs). It is critical to find efficient ways to detect the corrupted patterns.
Current methods primarily focus on designing robust training techniques to
prevent DNNs from memorizing corrupted patterns. This approach has two
outstanding caveats: 1) applying this approach to each individual dataset would
often require customized training processes; 2) as long as the model is trained
with noisy supervisions, overfitting to corrupted patterns is often hard to
avoid, leading to performance drop in detection. In this paper, given good
representations, we propose a universally applicable and training-free solution
to detect noisy labels. Intuitively, good representations help define
``neighbors'' of each training instance, and closer instances are more likely
to share the same clean label. Based on the neighborhood information, we
propose two methods: the first one uses ``local voting" via checking the noisy
label consensuses of nearby representations. The second one is a ranking-based
approach that scores each instance and filters out a guaranteed number of
instances that are likely to be corrupted, again using only representations.
Given good (but possibly imperfect) representations that are commonly available
in practice, we theoretically analyze how they affect the local voting and
provide guidelines for tuning neighborhood size. We also prove the worst-case
error bound for the ranking-based method. Experiments with both synthetic and
real-world label noise demonstrate our training-free solutions are consistently
and significantly improving over most of the training-based baselines. Code is
available at github.com/UCSC-REAL/SimiRep.
- Abstract（参考訳）: ラベルノイズは、誤った相関パターンを符号化し、ディープニューラルネットワーク(dnn)の一般化を損なう現実世界のデータセットに広まります。
腐敗したパターンを検出する効率的な方法を見つけることが重要です。
現在の手法は主に、DNNが破損したパターンを記憶しないよう、堅牢なトレーニング技術を設計することに焦点を当てている。
このアプローチには2つの特筆すべき点がある。
1) 各データセットにこのアプローチを適用するには、しばしばカスタマイズされたトレーニングプロセスが必要です。
2) モデルがノイズの多い監視の下でトレーニングされている限り,破損したパターンへの過剰適合を避けることがしばしば困難であり,検出性能が低下する。
本稿では,良質な表現を前提として,ノイズのあるラベルを検知する汎用かつトレーニング不要なソリューションを提案する。
直感的には、優れた表現は各トレーニングインスタンスの‘neighbors’を定義するのに役立つ。
まず,近傍情報に基づいて,近傍表現のノイズラベルのコンセンサスをチェックすることで,``ローカル投票' を用いる方法を提案する。
もうひとつは、各インスタンスをスコア付けして、腐敗する可能性のあるインスタンス数をフィルタする、ランキングベースのアプローチだ。
実際に利用できる良い(しかしおそらく不完全な)表現が与えられた場合、局所投票がどのように影響するかを理論的に分析し、近隣の規模を調整するためのガイドラインを提供する。
また、ランキングベース手法の最悪のエラーも証明する。
合成および実世界のラベルノイズを用いた実験は、トレーニングフリーなソリューションが、トレーニングベースのベースラインの大部分に対して一貫して、大幅に改善されていることを示している。
コードはgithub.com/UCSC-REAL/SimiRepで入手できる。
関連論文リスト
- ROG$_{PL}$: Robust Open-Set Graph Learning via Region-Based Prototype
Learning [52.60434474638983]
本稿では,複雑な雑音グラフデータに対する堅牢なオープンセット学習を実現するために,ROG$_PL$という統一フレームワークを提案する。
このフレームワークは2つのモジュール、すなわちラベルの伝搬による認知と、リージョンによるオープンセットのプロトタイプ学習で構成されている。
我々の知る限り、ROG$_PL$は複雑なノイズを持つグラフデータに対して、最初の堅牢なオープンセットノード分類法である。
論文 参考訳（メタデータ） (2024-02-28T17:25:06Z) - Is your noise correction noisy? PLS: Robustness to label noise with two
stage detection [16.65296285599679]
本報告では, ノイズが検出された場合に, ノイズの補正精度を向上させることを提案する。
多くの最先端コントリビューションでは、修正された擬似ラベルを推測する前にノイズサンプルを検出する2段階のアプローチが採用されている。
ノイズサンプルの擬似ラベルの正しさと強く相関する単純な測度である擬似ロスを提案する。
論文 参考訳（メタデータ） (2022-10-10T11:32:28Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳（メタデータ） (2022-08-05T14:47:22Z) - Context-based Virtual Adversarial Training for Text Classification with
Noisy Labels [1.9508698179748525]
本研究では,テキスト分類器が雑音ラベルに過度に収まらないよう,コンテキストベースの仮想対位訓練(ConVAT)を提案する。
従来の手法とは異なり,提案手法は入力よりも文脈レベルで逆学習を行う。
2種類のラベルノイズを持つ4つのテキスト分類データセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-05-29T14:19:49Z) - Synergistic Network Learning and Label Correction for Noise-robust Image
Classification [28.27739181560233]
ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。
損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。
ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
論文 参考訳（メタデータ） (2022-02-27T23:06:31Z) - Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。
合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文 参考訳（メタデータ） (2022-02-04T15:46:27Z) - Robust Long-Tailed Learning under Label Noise [50.00837134041317]
本研究では,長期ラベル分布におけるラベルノイズ問題について検討する。
本稿では,長期学習のための雑音検出を実現する頑健なフレームワークAlgoを提案する。
我々のフレームワークは、半教師付き学習アルゴリズムを自然に活用して一般化をさらに改善することができる。
論文 参考訳（メタデータ） (2021-08-26T03:45:00Z) - Unified Robust Training for Graph NeuralNetworks against Label Noise [12.014301020294154]
半監督設定でノイズの多いラベルをグラフ上で学習するための新しいフレームワークである UnionNET を提案します。
提案手法は,GNNを頑健に訓練し,ラベル修正を同時に行うための統一的なソリューションを提供する。
論文 参考訳（メタデータ） (2021-03-05T01:17:04Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳（メタデータ） (2021-01-14T05:43:51Z) - Noisy Labels Can Induce Good Representations [53.47668632785373]
アーキテクチャがノイズラベルによる学習に与える影響について検討する。
ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。
この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
論文 参考訳（メタデータ） (2020-12-23T18:58:05Z) - EvidentialMix: Learning with Combined Open-set and Closed-set Noisy
Labels [30.268962418683955]
開集合ラベルと閉集合ラベルを組み合わせた雑音ラベル問題の新しい変種について検討する。
その結果,従来の最先端手法よりも優れた分類結果と特徴表現が得られた。
論文 参考訳（メタデータ） (2020-11-11T11:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。