論文の概要: Investigating Why Contrastive Learning Benefits Robustness Against Label Noise

• arxiv url: http://arxiv.org/abs/2201.12498v1
• Date: Sat, 29 Jan 2022 05:19:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 07:18:25.366145
• Title: Investigating Why Contrastive Learning Benefits Robustness Against Label Noise
• Title（参考訳）: コントラスト学習がラベルノイズに対するロバスト性に及ぼす影響の検討
• Authors: Yihao Xue, Kyle Whitecross, Baharan Mirzasoleiman
• Abstract要約: 自己教師付きコントラスト学習は、ディープネットワークがノイズラベルを過度に適合させるのを防ぐのに非常に効果的であることが示されている。 コントラスト学習によって学習された表現行列が頑健性を高めることを厳密に証明する。
• 参考スコア（独自算出の注目度）: 6.855361451300868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised contrastive learning has recently been shown to be very effective in preventing deep networks from overfitting noisy labels. Despite its empirical success, the theoretical understanding of the effect of contrastive learning on boosting robustness is very limited. In this work, we rigorously prove that the representation matrix learned by contrastive learning boosts robustness, by having: (i) one prominent singular value corresponding to every sub-class in the data, and remaining significantly smaller singular values; and (ii) a large alignment between the prominent singular vector and the clean labels of each sub-class. The above properties allow a linear layer trained on the representations to quickly learn the clean labels, and prevent it from overfitting the noise for a large number of training iterations. We further show that the low-rank structure of the Jacobian of deep networks pre-trained with contrastive learning allows them to achieve a superior performance initially, when fine-tuned on noisy labels. Finally, we demonstrate that the initial robustness provided by contrastive learning enables robust training methods to achieve state-of-the-art performance under extreme noise levels, e.g., an average of 27.18\% and 15.58\% increase in accuracy on CIFAR-10 and CIFAR-100 with 80\% symmetric noisy labels, and 4.11\% increase in accuracy on WebVision.
• Abstract（参考訳）: 近年、自己教師付きコントラスト学習は、ディープネットワークがノイズラベルを過度に適合させるのを防ぐのに非常に効果的であることが示されている。 実証的な成功にもかかわらず、対照的な学習が頑健性を高めることに対する効果の理論的理解は非常に限られている。 本研究では,コントラスト学習によって学習される表現行列が頑健性を高めることを厳密に証明する。 (i)データ内の各サブクラスに対応する1つの目立った特異値、かつ、著しく小さい特異値 (ii)各サブクラスの顕著な特異ベクトルとクリーンなラベルとの間の大きなアライメント。 上記の特性により、表現に基づいてトレーニングされた線形層は、クリーンなラベルを素早く学習し、多数のトレーニングイテレーションにおいてノイズ過多を防止することができる。 さらに, コントラスト学習で事前学習した深層ネットワークのヤコビアンの低ランク構造により, ノイズラベルを微調整した場合, まずは高い性能が得られることを示した。 最後に、コントラッシブラーニングによって提供される初期ロバスト性により、ロバストなトレーニング手法が、例えば、CIFAR-10およびCIFAR-100における平均27.18 %および15.58 %の精度、80 %の対称ノイズラベル、およびWebVisionにおける精度4.11 %の精度向上など、極端なノイズレベル下での最先端のトレーニングを実現することができることを示した。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• Meta Self-Refinement for Robust Learning with Weak Supervision [29.80743717767389]
  弱い監視からラベルノイズに対処するメタ自己精製(MSR)を提案する。 MSRは全ての設定においてラベルノイズに対して堅牢であり、最先端の手法を最大11.4%、F1スコアで9.26%上回っている。
  論文  参考訳（メタデータ） (2022-05-15T14:04:30Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Contrastive Learning Improves Model Robustness Under Label Noise [3.756550107432323]
  コントラスト学習で学習した表現を用いて教師付きロバスト手法を初期化することで,ラベル雑音下での性能が著しく向上することを示す。 最も単純な方法でさえ、コントラスト学習の場合、高いラベルノイズの下で最先端のSSLメソッドを50%以上上回ることができます。
  論文  参考訳（メタデータ） (2021-04-19T00:27:58Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Coresets for Robust Training of Neural Networks against Noisy Labels [78.03027938765746]
  本稿では,雑音ラベルで訓練したディープネットワークの堅牢なトレーニングのための理論的保証を強く備えた新しい手法を提案する。 我々は、ほぼ低ランクのヤコビ行列を提供するクリーンなデータポイントの重み付き部分集合(コアセット)を選択する。 我々の実験は、我々の理論を裏付け、我々のサブセットで訓練されたディープネットワークが、最先端技術よりもはるかに優れたパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2020-11-15T04:58:11Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。