論文の概要: Learning with Instance-Dependent Label Noise: A Sample Sieve Approach

• arxiv url: http://arxiv.org/abs/2010.02347v2
• Date: Mon, 22 Mar 2021 22:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:58:16.543628
• Title: Learning with Instance-Dependent Label Noise: A Sample Sieve Approach
• Title（参考訳）: インスタンス依存ラベルノイズによる学習--サンプルシーブアプローチ
• Authors: Hao Cheng, Zhaowei Zhu, Xingyu Li, Yifei Gong, Xing Sun, Yang Liu
• Abstract要約: 人間のアノテートされたラベルは、しばしばノイズを起こしやすい。 このようなノイズの存在は、結果として生じるディープニューラルネットワーク(DNN)モデルの性能を低下させる。 我々はCORES$2$を提案し、これは腐敗した例を徐々に Sieves する。
• 参考スコア（独自算出の注目度）: 24.143469284851456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-annotated labels are often prone to noise, and the presence of such noise will degrade the performance of the resulting deep neural network (DNN) models. Much of the literature (with several recent exceptions) of learning with noisy labels focuses on the case when the label noise is independent of features. Practically, annotations errors tend to be instance-dependent and often depend on the difficulty levels of recognizing a certain task. Applying existing results from instance-independent settings would require a significant amount of estimation of noise rates. Therefore, providing theoretically rigorous solutions for learning with instance-dependent label noise remains a challenge. In this paper, we propose CORES$^{2}$ (COnfidence REgularized Sample Sieve), which progressively sieves out corrupted examples. The implementation of CORES$^{2}$ does not require specifying noise rates and yet we are able to provide theoretical guarantees of CORES$^{2}$ in filtering out the corrupted examples. This high-quality sample sieve allows us to treat clean examples and the corrupted ones separately in training a DNN solution, and such a separation is shown to be advantageous in the instance-dependent noise setting. We demonstrate the performance of CORES$^{2}$ on CIFAR10 and CIFAR100 datasets with synthetic instance-dependent label noise and Clothing1M with real-world human noise. As of independent interests, our sample sieve provides a generic machinery for anatomizing noisy datasets and provides a flexible interface for various robust training techniques to further improve the performance. Code is available at https://github.com/UCSC-REAL/cores.
• Abstract（参考訳）: 人間の注釈付きラベルはしばしばノイズになりがちであり、そのようなノイズの存在は、結果として生じるディープニューラルネットワーク(dnn)モデルの性能を低下させる。 ノイズラベルを用いた学習の文献(最近のいくつかの例外を含む)の多くは、ラベルノイズが特徴に依存しない場合に焦点を当てている。 実際には、アノテーションのエラーはインスタンスに依存し、特定のタスクを認識する難易度に依存することが多い。 インスタンスに依存しない設定で既存の結果を適用するには、ノイズ率をかなりの量見積もる必要がある。 したがって、インスタンス依存のラベルノイズで学習するための理論的に厳密なソリューションの提供は依然として課題である。 本稿では,劣化した例を徐々にシーブするコアs$^{2}$ (信頼正規化サンプルシーブ)を提案する。 CORES$^{2}$の実装はノイズレートの指定を必要としないが、劣化した例をフィルタリングする際にCORES$^{2}$の理論的保証を提供することができる。 この高品質なサンプルシーブは、DNNソリューションのトレーニングにおいて、クリーンな例と破損した例を別々に扱うことができ、そのような分離は、インスタンス依存ノイズ設定において有利であることを示す。 CIFAR10 と CIFAR100 データセットにおける CORES$^{2}$ と実世界の人間ノイズを用いた Clothing1M の性能を実証した。 独立した関心事として、サンプルsieveは、ノイズの多いデータセットを解剖するための汎用的なメカニズムを提供し、さまざまな堅牢なトレーニングテクニックのための柔軟なインターフェースを提供し、パフォーマンスをさらに向上させます。 コードはhttps://github.com/UCSC-REAL/coresで入手できる。

関連論文リスト

• Mitigating Instance-Dependent Label Noise: Integrating Self-Supervised Pretraining with Pseudo-Label Refinement [3.272177633069322]
  実世界のデータセットは、アノテーションプロセス中にヒューマンエラー、あいまいさ、リソース制約のために、ノイズの多いラベルを含むことが多い。 そこで本研究では,SimCLRを用いた自己教師型学習と反復的擬似ラベル改良を組み合わせた新しいフレームワークを提案する。 提案手法は,特に高騒音条件下では,いくつかの最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2024-12-06T09:56:49Z)
• Binary Classification with Instance and Label Dependent Label Noise [4.061135251278187]
  ノイズの多いサンプルによる学習は、クリーンなサンプルへのアクセスやデータの分布に関する強い仮定なしには不可能であることを示す。 その結果, ノイズの多いサンプルのみによる学習は, クリーンなサンプルへのアクセスや, データの分布に関する強い仮定なしには不可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T04:47:44Z)
• Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
  本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。 具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
  論文  参考訳（メタデータ） (2022-08-21T07:47:05Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning [89.56465237941013]
  UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。 90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
  論文  参考訳（メタデータ） (2022-03-28T07:36:36Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Confidence Scores Make Instance-dependent Label-noise Learning Possible [129.84497190791103]
  ノイズのあるラベルで学習する際、そのラベルはノイズモデルと呼ばれる遷移分布に従ってランダムに他のクラスに移動することができる。 我々は、各インスタンスラベル対に信頼スコアを付与する、信頼スコア付きインスタンス依存ノイズ(CSIDN)を導入する。 信頼性スコアの助けを借りて、各インスタンスの遷移分布を推定できる。
  論文  参考訳（メタデータ） (2020-01-11T16:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。