論文の概要: Self-Filtering: A Noise-Aware Sample Selection for Label Noise with Confidence Penalization

• arxiv url: http://arxiv.org/abs/2208.11351v1
• Date: Wed, 24 Aug 2022 08:02:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-25 12:46:02.272815
• Title: Self-Filtering: A Noise-Aware Sample Selection for Label Noise with Confidence Penalization
• Title（参考訳）: 自己フィルタ:信頼度ペナリゼーション付きラベルノイズのためのノイズ対応サンプル選択
• Authors: Qi Wei, Haoliang Sun, Xiankai Lu, Yilong Yin
• Abstract要約: 本研究では,歴史予測におけるノイズの多い例の変動を利用した新しい選択手法であるtextbfSelf-textbfFiltextbftering (SFT)を提案する。 具体的には、各例の履歴予測を格納したメモリバンクモジュールを導入し、その後の学習イテレーションの選択をサポートするために動的に更新する。 この項で誤分類されたカテゴリーの重みを増大させることで、損失関数は穏やかな条件下でのノイズのラベル付けに頑健である。
• 参考スコア（独自算出の注目度）: 39.90342091782778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sample selection is an effective strategy to mitigate the effect of label noise in robust learning. Typical strategies commonly apply the small-loss criterion to identify clean samples. However, those samples lying around the decision boundary with large losses usually entangle with noisy examples, which would be discarded with this criterion, leading to the heavy degeneration of the generalization performance. In this paper, we propose a novel selection strategy, \textbf{S}elf-\textbf{F}il\textbf{t}ering (SFT), that utilizes the fluctuation of noisy examples in historical predictions to filter them, which can avoid the selection bias of the small-loss criterion for the boundary examples. Specifically, we introduce a memory bank module that stores the historical predictions of each example and dynamically updates to support the selection for the subsequent learning iteration. Besides, to reduce the accumulated error of the sample selection bias of SFT, we devise a regularization term to penalize the confident output distribution. By increasing the weight of the misclassified categories with this term, the loss function is robust to label noise in mild conditions. We conduct extensive experiments on three benchmarks with variant noise types and achieve the new state-of-the-art. Ablation studies and further analysis verify the virtue of SFT for sample selection in robust learning.
• Abstract（参考訳）: サンプル選択は、ロバスト学習におけるラベルノイズの影響を軽減する効果的な戦略である。 典型的な戦略は、クリーンなサンプルを特定するために小さな損失基準を適用するのが一般的である。 しかし、大きな損失を伴う決定境界付近にあるサンプルは、通常ノイズの多い例で絡み合っていて、この基準で破棄され、一般化性能が大幅に劣化する。 本稿では,歴史予測におけるノイズの多い例のゆらぎを利用した新しい選択戦略である \textbf{S}elf-\textbf{F}il\textbf{t}ering (SFT) を提案する。 具体的には,各例の過去の予測を格納したメモリバンクモジュールと,それに続く学習イテレーションの選択をサポートする動的更新を提案する。 また,SFTのサンプル選択バイアスの累積誤差を低減するため,正則化項を考案し,信頼性の高い出力分布をペナル化する。 この項で誤分類されたカテゴリーの重みを増大させることで、損失関数は穏やかな条件下でのノイズのラベル付けに頑健である。 異種雑音を用いた3つのベンチマークについて広範な実験を行い,最新の結果を得た。 アブレーション研究とさらなる分析は、頑健な学習におけるサンプル選択におけるSFTの有効性を検証する。

関連論文リスト

• ANNE: Adaptive Nearest Neighbors and Eigenvector-based Sample Selection for Robust Learning with Noisy Labels [7.897299759691143]
  本稿では,Adaptive Nearest Neighbors and Eigenvector-based sample selection methodを紹介する。 ANNEは、損失に基づくサンプリングとFINEとAdaptive KNNを統合し、幅広いノイズレートシナリオのパフォーマンスを最適化する。
  論文  参考訳（メタデータ） (2024-11-03T15:51:38Z)
• Foster Adaptivity and Balance in Learning with Noisy Labels [26.309508654960354]
  我々はtextbfSelf-adaptivtextbfE とクラスバランスtextbfD 方式でラベルノイズに対処するための textbfSED という新しい手法を提案する。 平均教師モデルは、ノイズの多いサンプルのラベルを修正するために使用される。 また,検出した雑音に異なる重みを割り当てる自己適応型およびクラスバランスのサンプル再重み付け機構を提案する。
  論文  参考訳（メタデータ） (2024-07-03T03:10:24Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Regroup Median Loss for Combating Label Noise [19.51996047333779]
  深層モデルトレーニングには、注釈付きデータの大規模なデータセットが必要である。 多数のサンプルを注釈付けすることが難しいため、誤ったアノテーションによるラベルノイズは避けられない。 ノイズのあるサンプルを選択する確率を低減し,ノイズの多いサンプルの損失を正すために,Regroup Median Loss (RML)を提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:19:55Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability [85.1044381834036]
  勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。 そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。 我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
  論文  参考訳（メタデータ） (2023-04-01T14:09:07Z)
• PASS: Peer-Agreement based Sample Selection for training with Noisy Labels [16.283722126438125]
  ノイズラベルサンプルの頻度は、深層学習において重要な課題となり、過剰適合効果を誘発する。 現在の方法論は、しばしばノイズとクリーンなラベルのサンプルを分離するために、小さな損失仮説や特徴に基づく選択に依存している。 本稿では,PASS (Peer-Agreement based Sample Selection) と呼ばれる新しいノイズラベル検出手法を提案する。
  論文  参考訳（メタデータ） (2023-03-20T00:35:33Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。