論文の概要: Improving group robustness under noisy labels using predictive uncertainty

• arxiv url: http://arxiv.org/abs/2212.07026v1
• Date: Wed, 14 Dec 2022 04:40:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 14:37:23.288590
• Title: Improving group robustness under noisy labels using predictive uncertainty
• Title（参考訳）: 予測不確実性を用いた雑音ラベル下のグループロバスト性向上
• Authors: Dongpin Oh, Dae Lee, Jeunghyun Byun, and Bonggun Shin
• Abstract要約: ノイズラベル下での最悪のグループ精度を改善するために,モデルの予測不確実性を利用する。 本稿では,モデルがノイズラベルに頑健でありながら,刺激的な手がかりを学習するのを防ぐ,新しいEntropy based Debiasing(END)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.9449650062296823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The standard empirical risk minimization (ERM) can underperform on certain minority groups (i.e., waterbirds in lands or landbirds in water) due to the spurious correlation between the input and its label. Several studies have improved the worst-group accuracy by focusing on the high-loss samples. The hypothesis behind this is that such high-loss samples are \textit{spurious-cue-free} (SCF) samples. However, these approaches can be problematic since the high-loss samples may also be samples with noisy labels in the real-world scenarios. To resolve this issue, we utilize the predictive uncertainty of a model to improve the worst-group accuracy under noisy labels. To motivate this, we theoretically show that the high-uncertainty samples are the SCF samples in the binary classification problem. This theoretical result implies that the predictive uncertainty is an adequate indicator to identify SCF samples in a noisy label setting. Motivated from this, we propose a novel ENtropy based Debiasing (END) framework that prevents models from learning the spurious cues while being robust to the noisy labels. In the END framework, we first train the \textit{identification model} to obtain the SCF samples from a training set using its predictive uncertainty. Then, another model is trained on the dataset augmented with an oversampled SCF set. The experimental results show that our END framework outperforms other strong baselines on several real-world benchmarks that consider both the noisy labels and the spurious-cues.
• Abstract（参考訳）: 標準的な経験的リスク最小化(ERM)は、入力とラベルの間に急激な相関関係があるため、一部の少数派(例えば、土地の水鳥や水鳥)で過小評価される。 いくつかの研究は、高損失サンプルに着目して、最悪のグループ精度を改善した。 この背景にある仮説は、そのような高損失なサンプルは \textit{spurious-cue-free} (SCF) のサンプルである。 しかし、これらの手法は、高損失サンプルも実世界のシナリオでノイズのあるラベルを持つサンプルである可能性があるため、問題となる可能性がある。 この問題を解決するため,ノイズラベル下での最悪のグループ精度を改善するために,モデルの予測不確かさを利用する。 これを動機づけるために,高不確かさサンプルが二項分類問題におけるSCFサンプルであることを理論的に示す。 この理論結果から, 予測不確実性は, ノイズラベル設定におけるSCF試料の同定に有効な指標であることが示唆された。 そこで,提案するエントロピーベースのデバイアス(end)フレームワークでは,ノイズラベルに対して頑健でありながら,モデルがスプリアスキューを学習することを防止する。 ENDフレームワークでは、まず「textit{identification model」をトレーニングし、その予測不確実性を用いてトレーニングセットからSCFサンプルを取得する。 そして、オーバーサンプリングされたscfセットを付加したデータセット上で、別のモデルをトレーニングする。 実験の結果,私たちの END フレームワークは,ノイズラベルとスプリアスキューの両方を考慮した実世界のベンチマークにおいて,他の強力なベースラインよりも優れていることがわかった。

関連論文リスト

• Foster Adaptivity and Balance in Learning with Noisy Labels [26.309508654960354]
  我々はtextbfSelf-adaptivtextbfE とクラスバランスtextbfD 方式でラベルノイズに対処するための textbfSED という新しい手法を提案する。 平均教師モデルは、ノイズの多いサンプルのラベルを修正するために使用される。 また,検出した雑音に異なる重みを割り当てる自己適応型およびクラスバランスのサンプル再重み付け機構を提案する。
  論文  参考訳（メタデータ） (2024-07-03T03:10:24Z)
• Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels [13.314778587751588]
  ノイズラベルは、特にクラウドソーシングやWeb検索から派生した大規模データセットにおいて、現実世界のデータセットにおいてユビキタスである。 トレーニング中にノイズの多いラベルを過度に適合させる傾向にあるため、ノイズの多いデータセットでディープニューラルネットワークをトレーニングすることは難しい。 ノイズラベルの影響を軽減するために,新しい合成サンプルを用いてモデルを訓練するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-22T04:49:39Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)
• Learning with Noisy Labels over Imbalanced Subpopulations [13.477553187049462]
  ノイズラベル(LNL)による学習は,研究コミュニティから大きな注目を集めている。 ノイズラベルと不均衡なサブポピュレーションを同時に扱う新しいLNL法を提案する。 試料のクリーンな確率を推定するために, 試料相関を考慮に入れた特徴量測定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T07:25:24Z)
• Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling [22.62790706276081]
  ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。 従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。 本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T02:06:38Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。