論文の概要: Contrastive Learning Improves Model Robustness Under Label Noise
- arxiv url: http://arxiv.org/abs/2104.08984v1
- Date: Mon, 19 Apr 2021 00:27:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:27:41.371472
- Title: Contrastive Learning Improves Model Robustness Under Label Noise
- Title（参考訳）: ラベル雑音下でのモデルロバスト性を改善するコントラスト学習
- Authors: Aritra Ghosh and Andrew Lan
- Abstract要約: コントラスト学習で学習した表現を用いて教師付きロバスト手法を初期化することで,ラベル雑音下での性能が著しく向上することを示す。
最も単純な方法でさえ、コントラスト学習の場合、高いラベルノイズの下で最先端のSSLメソッドを50%以上上回ることができます。
- 参考スコア（独自算出の注目度）: 3.756550107432323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural network-based classifiers trained with the categorical
cross-entropy (CCE) loss are sensitive to label noise in the training data. One
common type of method that can mitigate the impact of label noise can be viewed
as supervised robust methods; one can simply replace the CCE loss with a loss
that is robust to label noise, or re-weight training samples and down-weight
those with higher loss values. Recently, another type of method using
semi-supervised learning (SSL) has been proposed, which augments these
supervised robust methods to exploit (possibly) noisy samples more effectively.
Although supervised robust methods perform well across different data types,
they have been shown to be inferior to the SSL methods on image classification
tasks under label noise. Therefore, it remains to be seen that whether these
supervised robust methods can also perform well if they can utilize the
unlabeled samples more effectively. In this paper, we show that by initializing
supervised robust methods using representations learned through contrastive
learning leads to significantly improved performance under label noise.
Surprisingly, even the simplest method (training a classifier with the CCE
loss) can outperform the state-of-the-art SSL method by more than 50\% under
high label noise when initialized with contrastive learning. Our implementation
will be publicly available at
{\url{https://github.com/arghosh/noisy_label_pretrain}}.
- Abstract（参考訳）: 分類的クロスエントロピー(CCE)損失で訓練されたディープニューラルネットワークベースの分類器は、トレーニングデータのラベルノイズに敏感である。
ラベルノイズの影響を緩和できる一般的な方法の1つは、CCE損失をラベルノイズに頑健な損失に置き換えることや、より高損失値のトレーニングサンプルとダウンウェイトに置き換えることができる。
近年,半教師付き学習(SSL)を用いた別の手法が提案されている。
教師付きロバスト手法は様々なデータタイプでよく機能するが、ラベルノイズ下での画像分類タスクではSSL法より劣っていることが示されている。
したがって、これらの教師付きロバストな手法が、ラベルなしのサンプルをより効果的に利用できれば、うまく機能するかどうかは、まだ明らかでない。
本稿では,コントラスト学習で学習した表現を用いて教師付きロバスト手法を初期化することで,ラベル雑音下での性能が著しく向上することを示す。
驚くべきことに、最も単純な方法(CCE損失のある分類器の学習)でさえ、コントラスト学習で初期化される場合、高いラベルノイズの下で、最先端のSSLメソッドを50倍以上上回ることができる。
実装は {\url{https://github.com/arghosh/noisy_label_pretrain}} で公開されている。
関連論文リスト
- Denoising-Aware Contrastive Learning for Noisy Time Series [35.97130925600067]
時系列自己教師型学習(SSL)は、ラベルへの依存を軽減するために事前トレーニングのためにラベル付きデータを活用することを目的としている。
本稿では,表現中の雑音を軽減し,各サンプルに対して適切な復調法を自動選択するDenoising-Aware contrastive Learning (DECL)を提案する。
論文 参考訳（メタデータ） (2024-06-07T04:27:32Z) - Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳（メタデータ） (2023-10-16T14:43:27Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳（メタデータ） (2023-02-19T15:24:37Z) - Context-based Virtual Adversarial Training for Text Classification with
Noisy Labels [1.9508698179748525]
本研究では,テキスト分類器が雑音ラベルに過度に収まらないよう,コンテキストベースの仮想対位訓練(ConVAT)を提案する。
従来の手法とは異なり,提案手法は入力よりも文脈レベルで逆学習を行う。
2種類のラベルノイズを持つ4つのテキスト分類データセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-05-29T14:19:49Z) - UNICON: Combating Label Noise Through Uniform Selection and Contrastive
Learning [89.56465237941013]
UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。
90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
論文 参考訳（メタデータ） (2022-03-28T07:36:36Z) - Hard Sample Aware Noise Robust Learning for Histopathology Image
Classification [4.75542005200538]
病理組織像分類のための新しいハードサンプル認識型ノイズロバスト学習法を提案する。
本研究は, 難燃性難燃性試料と難燃性試料とを識別するため, 簡易・難燃性検出モデルを構築した。
本稿では,雑音抑圧・高強度化(NSHE)方式を提案する。
論文 参考訳（メタデータ） (2021-12-05T11:07:55Z) - Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。
本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
論文 参考訳（メタデータ） (2021-06-21T07:15:50Z) - Boosting Semi-Supervised Face Recognition with Noise Robustness [54.342992887966616]
本稿では,自動ラベルによるラベル雑音に対して頑健な半教師付き顔認識に対する効果的な解法を提案する。
そこで我々は,gnが強化するロバストな学習能力に基づく,ノイズロバスト学習ラベリング(nroll)という,半教師付き顔認識ソリューションを開発した。
論文 参考訳（メタデータ） (2021-05-10T14:43:11Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-15T23:29:57Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳（メタデータ） (2021-01-14T05:43:51Z) - Multi-Objective Interpolation Training for Robustness to Label Noise [17.264550056296915]
標準教師付きコントラスト学習はラベル雑音の存在下で劣化することを示す。
コントラスト学習により学習したロバストな特徴表現を利用する新しいラベルノイズ検出手法を提案する。
合成および実世界のノイズベンチマークの実験は、MOIT/MOIT+が最先端の結果を得ることを示した。
論文 参考訳（メタデータ） (2020-12-08T15:01:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。