論文の概要: Self-Filtering: A Noise-Aware Sample Selection for Label Noise with
Confidence Penalization
- arxiv url: http://arxiv.org/abs/2208.11351v1
- Date: Wed, 24 Aug 2022 08:02:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-25 12:46:02.272815
- Title: Self-Filtering: A Noise-Aware Sample Selection for Label Noise with
Confidence Penalization
- Title(参考訳): 自己フィルタ:信頼度ペナリゼーション付きラベルノイズのためのノイズ対応サンプル選択
- Authors: Qi Wei, Haoliang Sun, Xiankai Lu, Yilong Yin
- Abstract要約: 本研究では,歴史予測におけるノイズの多い例の変動を利用した新しい選択手法であるtextbfSelf-textbfFiltextbftering (SFT)を提案する。
具体的には、各例の履歴予測を格納したメモリバンクモジュールを導入し、その後の学習イテレーションの選択をサポートするために動的に更新する。
この項で誤分類されたカテゴリーの重みを増大させることで、損失関数は穏やかな条件下でのノイズのラベル付けに頑健である。
- 参考スコア(独自算出の注目度): 39.90342091782778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sample selection is an effective strategy to mitigate the effect of label
noise in robust learning. Typical strategies commonly apply the small-loss
criterion to identify clean samples. However, those samples lying around the
decision boundary with large losses usually entangle with noisy examples, which
would be discarded with this criterion, leading to the heavy degeneration of
the generalization performance. In this paper, we propose a novel selection
strategy, \textbf{S}elf-\textbf{F}il\textbf{t}ering (SFT), that utilizes the
fluctuation of noisy examples in historical predictions to filter them, which
can avoid the selection bias of the small-loss criterion for the boundary
examples. Specifically, we introduce a memory bank module that stores the
historical predictions of each example and dynamically updates to support the
selection for the subsequent learning iteration. Besides, to reduce the
accumulated error of the sample selection bias of SFT, we devise a
regularization term to penalize the confident output distribution. By
increasing the weight of the misclassified categories with this term, the loss
function is robust to label noise in mild conditions. We conduct extensive
experiments on three benchmarks with variant noise types and achieve the new
state-of-the-art. Ablation studies and further analysis verify the virtue of
SFT for sample selection in robust learning.
- Abstract(参考訳): サンプル選択は、ロバスト学習におけるラベルノイズの影響を軽減する効果的な戦略である。
典型的な戦略は、クリーンなサンプルを特定するために小さな損失基準を適用するのが一般的である。
しかし、大きな損失を伴う決定境界付近にあるサンプルは、通常ノイズの多い例で絡み合っていて、この基準で破棄され、一般化性能が大幅に劣化する。
本稿では,歴史予測におけるノイズの多い例のゆらぎを利用した新しい選択戦略である \textbf{S}elf-\textbf{F}il\textbf{t}ering (SFT) を提案する。
具体的には,各例の過去の予測を格納したメモリバンクモジュールと,それに続く学習イテレーションの選択をサポートする動的更新を提案する。
また,SFTのサンプル選択バイアスの累積誤差を低減するため,正則化項を考案し,信頼性の高い出力分布をペナル化する。
この項で誤分類されたカテゴリーの重みを増大させることで、損失関数は穏やかな条件下でのノイズのラベル付けに頑健である。
異種雑音を用いた3つのベンチマークについて広範な実験を行い,最新の結果を得た。
アブレーション研究とさらなる分析は、頑健な学習におけるサンプル選択におけるSFTの有効性を検証する。
関連論文リスト
- Learning with Imbalanced Noisy Data by Preventing Bias in Sample
Selection [82.43311784594384]
実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。
不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2024-02-17T10:34:53Z) - Regroup Median Loss for Combating Label Noise [19.51996047333779]
深層モデルトレーニングには、注釈付きデータの大規模なデータセットが必要である。
多数のサンプルを注釈付けすることが難しいため、誤ったアノテーションによるラベルノイズは避けられない。
ノイズのあるサンプルを選択する確率を低減し,ノイズの多いサンプルの損失を正すために,Regroup Median Loss (RML)を提案する。
論文 参考訳(メタデータ) (2023-12-11T10:19:55Z) - Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳(メタデータ) (2023-10-16T14:43:27Z) - Doubly Stochastic Models: Learning with Unbiased Label Noises and
Inference Stability [85.1044381834036]
勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。
そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。
我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
論文 参考訳(メタデータ) (2023-04-01T14:09:07Z) - Improving group robustness under noisy labels using predictive
uncertainty [0.9449650062296823]
ノイズラベル下での最悪のグループ精度を改善するために,モデルの予測不確実性を利用する。
本稿では,モデルがノイズラベルに頑健でありながら,刺激的な手がかりを学習するのを防ぐ,新しいEntropy based Debiasing(END)フレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-14T04:40:50Z) - Learning from Noisy Labels with Coarse-to-Fine Sample Credibility
Modeling [22.62790706276081]
ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。
従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。
本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
論文 参考訳(メタデータ) (2022-08-23T02:06:38Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳(メタデータ) (2021-03-24T07:26:07Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳(メタデータ) (2021-01-14T05:43:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。