論文の概要: Uncertainty-Aware Learning Against Label Noise on Imbalanced Datasets

• arxiv url: http://arxiv.org/abs/2207.05471v1
• Date: Tue, 12 Jul 2022 11:35:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 13:24:23.565487
• Title: Uncertainty-Aware Learning Against Label Noise on Imbalanced Datasets
• Title（参考訳）: 不均衡データセットにおけるラベルノイズに対する不確実性認識学習
• Authors: Yingsong Huang, Bing Bai, Shengwei Zhao, Kun Bai, Fei Wang
• Abstract要約: 不整合データセットのラベルノイズを処理するための不確かさを意識したラベル補正フレームワークを提案する。 本研究では,不均衡なデータセットのラベルノイズを処理するために,不確かさを意識したラベル補正フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.4536532321199
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning against label noise is a vital topic to guarantee a reliable performance for deep neural networks. Recent research usually refers to dynamic noise modeling with model output probabilities and loss values, and then separates clean and noisy samples. These methods have gained notable success. However, unlike cherry-picked data, existing approaches often cannot perform well when facing imbalanced datasets, a common scenario in the real world. We thoroughly investigate this phenomenon and point out two major issues that hinder the performance, i.e., \emph{inter-class loss distribution discrepancy} and \emph{misleading predictions due to uncertainty}. The first issue is that existing methods often perform class-agnostic noise modeling. However, loss distributions show a significant discrepancy among classes under class imbalance, and class-agnostic noise modeling can easily get confused with noisy samples and samples in minority classes. The second issue refers to that models may output misleading predictions due to epistemic uncertainty and aleatoric uncertainty, thus existing methods that rely solely on the output probabilities may fail to distinguish confident samples. Inspired by our observations, we propose an Uncertainty-aware Label Correction framework~(ULC) to handle label noise on imbalanced datasets. First, we perform epistemic uncertainty-aware class-specific noise modeling to identify trustworthy clean samples and refine/discard highly confident true/corrupted labels. Then, we introduce aleatoric uncertainty in the subsequent learning process to prevent noise accumulation in the label noise modeling process. We conduct experiments on several synthetic and real-world datasets. The results demonstrate the effectiveness of the proposed method, especially on imbalanced datasets.
• Abstract（参考訳）: ディープニューラルネットワークの信頼性を保証するためには,ラベルノイズに対する学習が不可欠だ。 最近の研究は通常、モデル出力確率と損失値を持つ動的ノイズモデリングを参照し、クリーンでノイズの多いサンプルを分離する。 これらの手法は目覚ましい成功を収めた。 しかし、チェリーピッキングされたデータとは異なり、既存のアプローチは、現実世界で一般的なシナリオである不均衡データセットに直面した場合、うまく機能しないことが多い。 我々は、この現象を徹底的に調査し、性能を阻害する2つの主要な問題、すなわち不確実性に起因する「クラス間損失分布の不一致」と「ミスリーディング予測」を指摘した。 最初の問題は、既存のメソッドがしばしばクラスに依存しないノイズモデリングを実行することである。 しかし、損失分布はクラス不均衡のクラス間で大きな相違を示し、クラス非依存ノイズモデリングは少数クラスのノイズのあるサンプルやサンプルと容易に混同される。 第2の問題は、モデルが認識的不確かさとアレエータ的不確実性による誤解を招く予測を出力する可能性があるため、既存の方法は出力確率のみに依存するため、自信のあるサンプルを区別できない可能性があることである。 そこで本研究では,不均衡データセット上でラベルノイズを処理するための不確実性認識ラベル補正フレームワーク~(ulc)を提案する。 まず, 信頼性の高いクリーンサンプルを同定し, 信頼性の高い真・破損ラベルを精査・破棄する。 次に,学習過程におけるアレータリックな不確実性を導入し,ラベルノイズモデリングプロセスにおける雑音の蓄積を防止する。 いくつかの合成および実世界のデータセットで実験を行う。 その結果,特に不均衡データセットにおいて提案手法の有効性が示された。

関連論文リスト

• Correcting Noisy Multilabel Predictions: Modeling Label Noise through Latent Space Shifts [4.795811957412855]
  ほとんどの現実世界の機械学習アプリケーションでは、データのノイズは避けられないように思える。 マルチラベル分類における雑音ラベル学習の分野について検討した。 我々のモデルは、雑音のラベル付けは潜伏変数の変化から生じると仮定し、より堅牢で有益な学習手段を提供する。
  論文  参考訳（メタデータ） (2025-02-20T05:41:52Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability [85.1044381834036]
  勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。 そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。 我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
  論文  参考訳（メタデータ） (2023-04-01T14:09:07Z)
• Label Noise-Robust Learning using a Confidence-Based Sieving Strategy [15.997774467236352]
  ラベルノイズを伴うタスクの学習では、オーバーフィッティングに対するモデルの堅牢性を改善することが重要な課題である。 サンプルをノイズのあるラベルで識別し、モデルを学習するのを防ぐことは、この課題に対処するための有望なアプローチである。 本研究では, 信頼度誤差と呼ばれる新しい判別基準と, クリーンサンプルとノイズサンプルを効果的に識別するためのCONFESと呼ばれるシービング戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-11T10:47:28Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Robustness and reliability when training with noisy labels [12.688634089849023]
  教師付き学習のためのデータの遅延は、コストと時間を要する可能性がある。 ディープニューラルネットワークは、ランダムラベルの適合、正規化、ロバストな損失関数の使用を証明している。
  論文  参考訳（メタデータ） (2021-10-07T10:30:20Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。