論文の概要: Denoising after Entropy-based Debiasing A Robust Training Method for Dataset Bias with Noisy Labels

• arxiv url: http://arxiv.org/abs/2212.01189v1
• Date: Thu, 1 Dec 2022 04:34:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 16:03:50.742457
• Title: Denoising after Entropy-based Debiasing A Robust Training Method for Dataset Bias with Noisy Labels
• Title（参考訳）: 雑音ラベル付きデータセットバイアスのロバストなトレーニング手法によるエントロピーに基づくデバイアス後のデノージング
• Authors: Sumyeong Ahn and Se-Young Yun
• Abstract要約: エントロピーに基づくデバイアス(debiasing),すなわちDNEB(denoising)と呼ばれる3つの主要なステージを持つアプローチを提案する。 復調前の復調アルゴリズムの実行は、復調アルゴリズムが難読化サンプルの影響を減少させるため、効果がないことが判明した。
• 参考スコア（独自算出の注目度）: 12.335698325757491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improperly constructed datasets can result in inaccurate inferences. For instance, models trained on biased datasets perform poorly in terms of generalization (i.e., dataset bias). Recent debiasing techniques have successfully achieved generalization performance by underestimating easy-to-learn samples (i.e., bias-aligned samples) and highlighting difficult-to-learn samples (i.e., bias-conflicting samples). However, these techniques may fail owing to noisy labels, because the trained model recognizes noisy labels as difficult-to-learn and thus highlights them. In this study, we find that earlier approaches that used the provided labels to quantify difficulty could be affected by the small proportion of noisy labels. Furthermore, we find that running denoising algorithms before debiasing is ineffective because denoising algorithms reduce the impact of difficult-to-learn samples, including valuable bias-conflicting samples. Therefore, we propose an approach called denoising after entropy-based debiasing, i.e., DENEB, which has three main stages. (1) The prejudice model is trained by emphasizing (bias-aligned, clean) samples, which are selected using a Gaussian Mixture Model. (2) Using the per-sample entropy from the output of the prejudice model, the sampling probability of each sample that is proportional to the entropy is computed. (3) The final model is trained using existing denoising algorithms with the mini-batches constructed by following the computed sampling probability. Compared to existing debiasing and denoising algorithms, our method achieves better debiasing performance on multiple benchmarks.
• Abstract（参考訳）: 不適切に構築されたデータセットは不正確な推論をもたらす可能性がある。 例えば、偏りのあるデータセットでトレーニングされたモデルは、一般化(すなわちデータセットバイアス)の面では性能が悪い。 近年のデバイアス技術は, 分かり易いサンプル(バイアスアライメントサンプル)を過小評価し, 読みにくいサンプル(バイアスコンプライシングサンプル)を強調することで, 一般化性能を達成している。 しかし、これらのテクニックはノイズラベルによって失敗する可能性がある。なぜなら、訓練されたモデルはノイズラベルを学習が難しいと認識し、それらを強調しているからである。 本研究では,提供されたラベルを用いて難易度を定量化する手法が,ノイズの少ないラベルの影響を受けやすいことを示す。 さらに,デバイアス前のデニュージングアルゴリズムの実行は,デニュージングアルゴリズムが貴重なバイアスコンフリクトサンプルを含む難解なサンプルの影響を減少させるため,効果がないことがわかった。 そこで本研究では, エントロピーに基づくデバイアス(debiasing, DENEB)の後にデノナイジング(denoising)と呼ばれるアプローチを提案する。 1) 偏見モデルは, ガウス混合モデルを用いて選択したサンプル(バイアスアライメント, クリーン)を強調することにより訓練される。 2) 偏見モデルの出力からサンプル当たりのエントロピーを用いて, エントロピーに比例する各試料のサンプリング確率を算出する。 3) 計算されたサンプリング確率に追従して構築したミニバッチを用いて, 既存の分数化アルゴリズムを用いて最終モデルを訓練する。 既存のdebiasingおよびdenoisingアルゴリズムと比較して,複数のベンチマークにおけるdebiasing性能が向上した。

関連論文リスト

• A Bilevel Optimization Framework for Imbalanced Data Classification [1.6385815610837167]
  合成データによるノイズや重なりの落とし穴を回避する新しいアンダーサンプリング手法を提案する。 多数データをランダムにアンサンプするのではなく、モデル損失を改善する能力に基づいてデータポイントをアンアンサンプする。 本手法は,モデル損失の改善を指標として,データポイントが損失に与える影響を評価し,それを改善することができない者を拒絶する。
  論文  参考訳（メタデータ） (2024-10-15T01:17:23Z)
• Foster Adaptivity and Balance in Learning with Noisy Labels [26.309508654960354]
  我々はtextbfSelf-adaptivtextbfE とクラスバランスtextbfD 方式でラベルノイズに対処するための textbfSED という新しい手法を提案する。 平均教師モデルは、ノイズの多いサンプルのラベルを修正するために使用される。 また,検出した雑音に異なる重みを割り当てる自己適応型およびクラスバランスのサンプル再重み付け機構を提案する。
  論文  参考訳（メタデータ） (2024-07-03T03:10:24Z)
• Double Correction Framework for Denoising Recommendation [45.98207284259792]
  暗黙のフィードバックでは、ノイズの多いサンプルが正確なユーザの好みの学習に影響を与える可能性がある。 一般的なソリューションは、モデルトレーニングフェーズでノイズの多いサンプルをドロップすることに基づいている。 提案手法では,勧告を記述するための二重補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-18T12:15:10Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Uncertainty-Aware Learning Against Label Noise on Imbalanced Datasets [23.4536532321199]
  不整合データセットのラベルノイズを処理するための不確かさを意識したラベル補正フレームワークを提案する。 本研究では,不均衡なデータセットのラベルノイズを処理するために,不確かさを意識したラベル補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T11:35:55Z)
• UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning [89.56465237941013]
  UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。 90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
  論文  参考訳（メタデータ） (2022-03-28T07:36:36Z)
• Denoising Distantly Supervised Named Entity Recognition via a Hypergeometric Probabilistic Model [26.76830553508229]
  ハイパージオメトリ・ラーニング(HGL)は、遠距離教師付きエンティティ認識のための認知アルゴリズムである。 HGLはノイズ分布とインスタンスレベルの信頼性の両方を考慮に入れている。 実験により、HGLは遠方の監督から取得した弱いラベル付きデータを効果的に復調できることが示された。
  論文  参考訳（メタデータ） (2021-06-17T04:01:25Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。