論文の概要: Coresets for Robust Training of Neural Networks against Noisy Labels
- arxiv url: http://arxiv.org/abs/2011.07451v1
- Date: Sun, 15 Nov 2020 04:58:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 06:55:29.223000
- Title: Coresets for Robust Training of Neural Networks against Noisy Labels
- Title（参考訳）: 雑音ラベルに対するニューラルネットワークのロバストトレーニングのためのコアセット
- Authors: Baharan Mirzasoleiman, Kaidi Cao, Jure Leskovec
- Abstract要約: 本稿では,雑音ラベルで訓練したディープネットワークの堅牢なトレーニングのための理論的保証を強く備えた新しい手法を提案する。
我々は、ほぼ低ランクのヤコビ行列を提供するクリーンなデータポイントの重み付き部分集合(コアセット)を選択する。
我々の実験は、我々の理論を裏付け、我々のサブセットで訓練されたディープネットワークが、最先端技術よりもはるかに優れたパフォーマンスを達成することを示した。
- 参考スコア（独自算出の注目度）: 78.03027938765746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern neural networks have the capacity to overfit noisy labels frequently
found in real-world datasets. Although great progress has been made, existing
techniques are limited in providing theoretical guarantees for the performance
of the neural networks trained with noisy labels. Here we propose a novel
approach with strong theoretical guarantees for robust training of deep
networks trained with noisy labels. The key idea behind our method is to select
weighted subsets (coresets) of clean data points that provide an approximately
low-rank Jacobian matrix. We then prove that gradient descent applied to the
subsets do not overfit the noisy labels. Our extensive experiments corroborate
our theory and demonstrate that deep networks trained on our subsets achieve a
significantly superior performance compared to state-of-the art, e.g., 6%
increase in accuracy on CIFAR-10 with 80% noisy labels, and 7% increase in
accuracy on mini Webvision.
- Abstract（参考訳）: 現代のニューラルネットワークは、実世界のデータセットでよく見られるノイズの多いラベルに適合する能力を持っている。
大きな進歩はあったが、既存の技術はノイズラベルで訓練されたニューラルネットワークの性能に関する理論的保証を提供するのに制限されている。
本稿では,雑音ラベルで学習したディープネットワークの堅牢なトレーニングを理論的に保証する新しい手法を提案する。
この手法の背後にある重要なアイデアは、ほぼ低ランクのヤコビ行列を提供するクリーンデータポイントの重み付き部分集合(コアセット)を選択することである。
すると、その部分集合に適用された勾配降下が雑音ラベルに収まらないことを証明する。
我々の広範な実験は、我々の理論を裏付け、我々のサブセットで訓練されたディープネットワークは、最先端技術(例えば、80%ノイズラベルを持つCIFAR-10の精度が6%向上し、ミニWebvisionの精度が7%向上するなど)と比較して、非常に優れた性能を達成することを示した。
関連論文リスト
- Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels [13.314778587751588]
ノイズラベルは、特にクラウドソーシングやWeb検索から派生した大規模データセットにおいて、現実世界のデータセットにおいてユビキタスである。
トレーニング中にノイズの多いラベルを過度に適合させる傾向にあるため、ノイズの多いデータセットでディープニューラルネットワークをトレーニングすることは難しい。
ノイズラベルの影響を軽減するために,新しい合成サンプルを用いてモデルを訓練するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-22T04:49:39Z) - Revisiting Class Imbalance for End-to-end Semi-Supervised Object
Detection [1.6249267147413524]
半教師付きオブジェクト検出(SSOD)は、擬似ラベルに基づくエンドツーエンド手法の開発において大きな進歩を遂げている。
多くの手法は、擬似ラベルジェネレータの有効性を妨げるクラス不均衡のため、課題に直面している。
本稿では,低品質な擬似ラベルの根本原因と,ラベル生成品質を改善するための新しい学習メカニズムについて検討する。
論文 参考訳（メタデータ） (2023-06-04T06:01:53Z) - Investigating Why Contrastive Learning Benefits Robustness Against Label
Noise [6.855361451300868]
自己教師付きコントラスト学習は、ディープネットワークがノイズラベルを過度に適合させるのを防ぐのに非常に効果的であることが示されている。
コントラスト学習によって学習された表現行列が頑健性を高めることを厳密に証明する。
論文 参考訳（メタデータ） (2022-01-29T05:19:26Z) - Unsupervised Representation Learning via Neural Activation Coding [66.65837512531729]
我々は、下流アプリケーションのためのラベルなしデータから深部表現を学習するための新しいアプローチとして、ニューラルアクティベーションコーディング(NAC)を提案する。
我々はNACが連続したデータ表現と離散的なデータ表現の両方を学習し、それぞれ下流の2つのタスクで評価することを示した。
論文 参考訳（メタデータ） (2021-12-07T21:59:45Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳（メタデータ） (2021-06-22T16:53:09Z) - Co-Seg: An Image Segmentation Framework Against Label Corruption [8.219887855003648]
改良されたディープラーニングのパフォーマンスは、トレーニングのための高品質なラベルの可用性に強く結びついている。
我々は,低品質なノイズラベルを含むデータセット上でセグメンテーションネットワークを協調的に学習する新しいフレームワーク,Co-Segを提案する。
我々のフレームワークはどんなセグメンテーションアルゴリズムでも容易に実装でき、ノイズの多いラベルへのロバスト性を高めることができる。
論文 参考訳（メタデータ） (2021-01-31T20:01:40Z) - Noisy Labels Can Induce Good Representations [53.47668632785373]
アーキテクチャがノイズラベルによる学習に与える影響について検討する。
ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。
この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
論文 参考訳（メタデータ） (2020-12-23T18:58:05Z) - Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。
大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。
本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
論文 参考訳（メタデータ） (2020-09-30T15:45:36Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳（メタデータ） (2020-07-01T04:48:49Z) - Iterative Label Improvement: Robust Training by Confidence Based
Filtering and Dataset Partitioning [5.1293809610257775]
最先端、高容量のディープニューラルネットワークは、大量のラベル付きトレーニングデータを必要とする。
また、このデータにエラーをラベル付けする可能性も高い。
本稿では,安価な非競合データを使用することのできる新しいメタトレーニング・ラベリング手法を提案する。
論文 参考訳（メタデータ） (2020-02-07T10:42:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。