論文の概要: Training Classifiers that are Universally Robust to All Label Noise Levels

• arxiv url: http://arxiv.org/abs/2105.13892v1
• Date: Thu, 27 May 2021 13:49:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:30:21.152673
• Title: Training Classifiers that are Universally Robust to All Label Noise Levels
• Title（参考訳）: 全ラベル雑音レベルに普遍的ロバストな学習用分類器
• Authors: Jingyi Xu, Tony Q. S. Quek, Kai Fong Ernest Chong
• Abstract要約: ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
• 参考スコア（独自算出の注目度）: 91.13870793906968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For classification tasks, deep neural networks are prone to overfitting in the presence of label noise. Although existing methods are able to alleviate this problem at low noise levels, they encounter significant performance reduction at high noise levels, or even at medium noise levels when the label noise is asymmetric. To train classifiers that are universally robust to all noise levels, and that are not sensitive to any variation in the noise model, we propose a distillation-based framework that incorporates a new subcategory of Positive-Unlabeled learning. In particular, we shall assume that a small subset of any given noisy dataset is known to have correct labels, which we treat as "positive", while the remaining noisy subset is treated as "unlabeled". Our framework consists of the following two components: (1) We shall generate, via iterative updates, an augmented clean subset with additional reliable "positive" samples filtered from "unlabeled" samples; (2) We shall train a teacher model on this larger augmented clean set. With the guidance of the teacher model, we then train a student model on the whole dataset. Experiments were conducted on the CIFAR-10 dataset with synthetic label noise at multiple noise levels for both symmetric and asymmetric noise. The results show that our framework generally outperforms at medium to high noise levels. We also evaluated our framework on Clothing1M, a real-world noisy dataset, and we achieved 2.94% improvement in accuracy over existing state-of-the-art methods.
• Abstract（参考訳）: 分類タスクでは、ディープニューラルネットワークはラベルノイズの存在下で過度に適合する傾向がある。 既存の手法ではこの問題を低騒音レベルにおいて緩和することができるが、高い騒音レベル、あるいはラベルノイズが非対称な中雑音レベルにおいても顕著な性能低下が発生する。 あらゆる雑音レベルに対して普遍的に頑健であり,ノイズモデルの変動に敏感でない分類器を訓練するために,新しい肯定的非ラベル学習のサブカテゴリを組み込んだ蒸留ベースフレームワークを提案する。 特に、任意の騒がしいデータセットの小さなサブセットが正しいラベルを持つことが知られていると仮定し、それは「正」として扱われ、残りのノイズのあるサブセットは「ラベルなし」として扱われる。 フレームワークは以下の2つのコンポーネントから構成される。(1) 反復更新により、"ラベルなし"サンプルからフィルタリングされた信頼性の高い"陽性"サンプルを付加した拡張クリーンサブセットを生成し、(2) より大規模な拡張クリーンセットで教師モデルをトレーニングする。 教師モデルのガイダンスを用いて、データセット全体の学生モデルをトレーニングする。 CIFAR-10データセットを用いて、複数のノイズレベルにおける合成ラベルノイズを用いた実験を行った。 その結果,本フレームワークは中～高騒音レベルにおいて概ね優れていた。 また,実際のノイズの多いデータセットであるwears1mのフレームワークを評価し,既存の最先端手法よりも2.94%精度が向上した。

関連論文リスト

• NoisyAG-News: A Benchmark for Addressing Instance-Dependent Noise in Text Classification [7.464154519547575]
  ノイズラベルを用いた学習に関する既存の研究は、主に合成ノイズパターンに焦点を当てている。 実世界のテキスト分類設定においてラベルノイズをよりよく理解するためのベンチマークデータセットを構築した。 以上の結果から,事前学習モデルでは合成ノイズに耐性があるものの,インスタンス依存ノイズには耐え難いことが判明した。
  論文  参考訳（メタデータ） (2024-07-09T06:18:40Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• Label noise detection under the Noise at Random model with ensemble filters [5.994719700262245]
  本研究では、2つの異なる雑音モデルの下でのアンサンブルノイズ検出の性能について検討する。 データセットで観測される全雑音レベルが変化するため,クラス分布がノイズ検出性能に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-12-02T21:49:41Z)
• Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations [54.400167806154535]
  ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。 本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。 実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
  論文  参考訳（メタデータ） (2021-10-22T22:42:11Z)
• LongReMix: Robust Learning with High Confidence Samples in a Noisy Label Environment [33.376639002442914]
  新しい2段ノイズラベルトレーニングアルゴリズムLongReMixを提案します。 CIFAR-10, CIFAR-100, WebVision, Clothing1M, Food101-NでLongReMixを試験した。 私たちのアプローチは、ほとんどのデータセットで最先端のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-03-06T18:48:40Z)
• GANs for learning from very high class conditional noisy labels [1.6516902135723865]
  我々は、GAN(Generative Adversarial Networks)を用いて、バイナリ分類のためのクラス条件付きラベルノイズ(CCN)ロバストなスキームを設計する。 まず、ノイズラベル付きデータと0.1%または1%クリーンラベルから正しいラベル付きデータポイントのセットを生成する。
  論文  参考訳（メタデータ） (2020-10-19T15:01:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。