論文の概要: Learning with Noisy Labels over Imbalanced Subpopulations

• arxiv url: http://arxiv.org/abs/2211.08722v1
• Date: Wed, 16 Nov 2022 07:25:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 14:19:10.896332
• Title: Learning with Noisy Labels over Imbalanced Subpopulations
• Title（参考訳）: 不均衡サブポピュレーションによる雑音ラベルの学習
• Authors: MingCai Chen, Yu Zhao, Bing He, Zongbo Han, Bingzhe Wu, Jianhua Yao
• Abstract要約: ノイズラベル(LNL)による学習は,研究コミュニティから大きな注目を集めている。 ノイズラベルと不均衡なサブポピュレーションを同時に扱う新しいLNL法を提案する。 試料のクリーンな確率を推定するために, 試料相関を考慮に入れた特徴量測定手法を提案する。
• 参考スコア（独自算出の注目度）: 13.477553187049462
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning with Noisy Labels (LNL) has attracted significant attention from the research community. Many recent LNL methods rely on the assumption that clean samples tend to have "small loss". However, this assumption always fails to generalize to some real-world cases with imbalanced subpopulations, i.e., training subpopulations varying in sample size or recognition difficulty. Therefore, recent LNL methods face the risk of misclassifying those "informative" samples (e.g., hard samples or samples in the tail subpopulations) into noisy samples, leading to poor generalization performance. To address the above issue, we propose a novel LNL method to simultaneously deal with noisy labels and imbalanced subpopulations. It first leverages sample correlation to estimate samples' clean probabilities for label correction and then utilizes corrected labels for Distributionally Robust Optimization (DRO) to further improve the robustness. Specifically, in contrast to previous works using classification loss as the selection criterion, we introduce a feature-based metric that takes the sample correlation into account for estimating samples' clean probabilities. Then, we refurbish the noisy labels using the estimated clean probabilities and the pseudo-labels from the model's predictions. With refurbished labels, we use DRO to train the model to be robust to subpopulation imbalance. Extensive experiments on a wide range of benchmarks demonstrate that our technique can consistently improve current state-of-the-art robust learning paradigms against noisy labels, especially when encountering imbalanced subpopulations.
• Abstract（参考訳）: ノイズラベル(LNL)による学習は、研究コミュニティから大きな注目を集めている。 最近の多くのlnlメソッドはクリーンサンプルが"小さな損失"を持つ傾向があるという仮定に依存している。 しかし、この仮定は常に、サンプルサイズや認識難易度が異なる訓練サブポピュレーションなど、不均衡なサブポピュレーションを持つ現実のケースに一般化することができない。 そのため、近年のLNL法では、これらの「情報的」なサンプル(例えば、尾部亜集団の硬いサンプルやサンプル)をノイズのあるサンプルに誤分類する危険性があり、一般化性能は低い。 以上の問題に対処するため,ノイズラベルと不均衡なサブポピュレーションを同時に扱うLNL法を提案する。 まず、サンプル相関を利用してラベル補正のためのサンプルのクリーンな確率を推定し、次に修正ラベルを使用して分散的ロバスト最適化(dro)を行い、ロバスト性をさらに向上させる。 具体的には, 分類損失を選択基準として用いた先行研究とは対照的に, サンプルのクリーンな確率を推定するために, サンプル相関を考慮した特徴量測定法を提案する。 次に, 推定されたクリーン確率と擬似ラベルを用いて, ノイズラベルを再構成する。 再生ラベルでは、DROを使用してモデルをトレーニングし、サブポピュレーションの不均衡に頑健にします。 幅広いベンチマークを用いた広範な実験により,本手法は,雑音ラベルに対して,特に不均衡な下位集団に遭遇した場合において,最先端のロバストな学習パラダイムを一貫して改善できることが証明された。

関連論文リスト

• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Regroup Median Loss for Combating Label Noise [19.51996047333779]
  深層モデルトレーニングには、注釈付きデータの大規模なデータセットが必要である。 多数のサンプルを注釈付けすることが難しいため、誤ったアノテーションによるラベルノイズは避けられない。 ノイズのあるサンプルを選択する確率を低減し,ノイズの多いサンプルの損失を正すために,Regroup Median Loss (RML)を提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:19:55Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• PASS: Peer-Agreement based Sample Selection for training with Noisy Labels [16.283722126438125]
  ノイズラベルサンプルの頻度は、深層学習において重要な課題となり、過剰適合効果を誘発する。 現在の方法論は、しばしばノイズとクリーンなラベルのサンプルを分離するために、小さな損失仮説や特徴に基づく選択に依存している。 本稿では,PASS (Peer-Agreement based Sample Selection) と呼ばれる新しいノイズラベル検出手法を提案する。
  論文  参考訳（メタデータ） (2023-03-20T00:35:33Z)
• Improving group robustness under noisy labels using predictive uncertainty [0.9449650062296823]
  ノイズラベル下での最悪のグループ精度を改善するために,モデルの予測不確実性を利用する。 本稿では,モデルがノイズラベルに頑健でありながら,刺激的な手がかりを学習するのを防ぐ,新しいEntropy based Debiasing(END)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-14T04:40:50Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。