論文の概要: Consistency Regularization Can Improve Robustness to Label Noise
- arxiv url: http://arxiv.org/abs/2110.01242v1
- Date: Mon, 4 Oct 2021 08:15:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 15:56:24.781923
- Title: Consistency Regularization Can Improve Robustness to Label Noise
- Title（参考訳）: 一貫性規則化はラベルノイズに対するロバスト性を改善する
- Authors: Erik Englesson, Hossein Azizpour
- Abstract要約: 本稿では,雑音ラベルに対するトレーニング時ロバスト性に対する整合正則化の関連性について実験的に検討する。
整合性を促進する単純な損失関数は、ノイズをラベル付けするためのモデルの堅牢性を改善する。
- 参考スコア（独自算出の注目度）: 4.340338299803562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Consistency regularization is a commonly-used technique for semi-supervised
and self-supervised learning. It is an auxiliary objective function that
encourages the prediction of the network to be similar in the vicinity of the
observed training samples. Hendrycks et al. (2020) have recently shown such
regularization naturally brings test-time robustness to corrupted data and
helps with calibration. This paper empirically studies the relevance of
consistency regularization for training-time robustness to noisy labels. First,
we make two interesting and useful observations regarding the consistency of
networks trained with the standard cross entropy loss on noisy datasets which
are: (i) networks trained on noisy data have lower consistency than those
trained on clean data, and(ii) the consistency reduces more significantly
around noisy-labelled training data points than correctly-labelled ones. Then,
we show that a simple loss function that encourages consistency improves the
robustness of the models to label noise on both synthetic (CIFAR-10, CIFAR-100)
and real-world (WebVision) noise as well as different noise rates and types and
achieves state-of-the-art results.
- Abstract（参考訳）: 一貫性規則化(Consistency regularization)は、半教師あり自己教師あり学習のための一般的なテクニックである。
これは、観測されたトレーニングサンプルの近傍で類似したネットワークの予測を促進する補助的目的関数である。
Hendrycks et al. (2020) は、最近そのような正規化が自然に、破損したデータにテスト時の堅牢性をもたらし、校正に役立つことを示した。
本稿では,雑音ラベルに対するトレーニング時ロバスト性に対する整合正則化の関連を実験的に検討する。
まず,標準クロスエントロピー損失をトレーニングしたネットワークの一貫性について,以下の2つの興味深い,有用な観察を行う。
i)ノイズデータでトレーニングされたネットワークは、クリーンデータでトレーニングされたネットワークよりも一貫性が低い。
(ii)ノイズラベルトレーニングデータポイントの一貫性は、正しくラベルされたデータポイントよりも大幅に低下する。
そして, 整合性を促進する単純な損失関数により, 合成ノイズ(CIFAR-10, CIFAR-100)と実世界のノイズ(WebVision)の両方にラベル付けし, 異なるノイズ率と型を付与し, 最新の結果が得られることを示す。
関連論文リスト
- Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels [13.314778587751588]
ノイズラベルは、特にクラウドソーシングやWeb検索から派生した大規模データセットにおいて、現実世界のデータセットにおいてユビキタスである。
トレーニング中にノイズの多いラベルを過度に適合させる傾向にあるため、ノイズの多いデータセットでディープニューラルネットワークをトレーニングすることは難しい。
ノイズラベルの影響を軽減するために,新しい合成サンプルを用いてモデルを訓練するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-22T04:49:39Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Dynamic Loss For Robust Learning [17.33444812274523]
本研究は,メタラーニングに基づく動的損失を学習プロセスで自動調整し,長い尾の雑音データから分類器を頑健に学習する手法を提案する。
本研究では,CIFAR-10/100,Animal-10N,ImageNet-LT,Webvisionなど,さまざまな種類のデータバイアスを持つ複数の実世界および合成データセットに対して,最先端の精度を実現する。
論文 参考訳（メタデータ） (2022-11-22T01:48:25Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳（メタデータ） (2022-08-05T14:47:22Z) - Robust Training under Label Noise by Over-parameterization [41.03008228953627]
本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。
ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。
注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
論文 参考訳（メタデータ） (2022-02-28T18:50:10Z) - Synergistic Network Learning and Label Correction for Noise-robust Image
Classification [28.27739181560233]
ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。
損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。
ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
論文 参考訳（メタデータ） (2022-02-27T23:06:31Z) - Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。
合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文 参考訳（メタデータ） (2022-02-04T15:46:27Z) - S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。
提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。
提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文 参考訳（メタデータ） (2021-11-22T15:49:20Z) - Learning with Noisy Labels Revisited: A Study Using Real-World Human
Annotations [54.400167806154535]
ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。
本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。
実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
論文 参考訳（メタデータ） (2021-10-22T22:42:11Z) - Affect Expression Behaviour Analysis in the Wild using Consensual
Collaborative Training [2.538209532048867]
本報告では,ABAW(Affective Behaviour Analysis in-the-wild)2021コンペティションに使用したConsensual Collaborative Training(CCT)フレームワークについて述べる。
CCTは3つのネットワークを共同で管理損失と一貫性損失の凸の組み合わせで訓練する。
協調トレーニングは全体的なエラーを低減し、一貫性の低下はノイズの多いサンプルへの過度な適合を防ぐ。
論文 参考訳（メタデータ） (2021-07-08T04:28:21Z) - Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。
半教師付き長尾認識という新しい認識設定を提案する。
2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
論文 参考訳（メタデータ） (2021-05-01T00:43:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。