論文の概要: On Learning Contrastive Representations for Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2203.01785v1
• Date: Thu, 3 Mar 2022 15:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 15:27:56.726209
• Title: On Learning Contrastive Representations for Learning with Noisy Labels
• Title（参考訳）: 雑音ラベル学習のためのコントラスト表現の学習について
• Authors: Li Yi, Sheng Liu, Qi She, A. Ian McLeod, Boyu Wang
• Abstract要約: ディープニューラルネットワークは、ソフトマックスクロスエントロピー(CE)損失でノイズラベルを容易に記憶することができる。 従来の研究では、ノイズ・ロスバスト損失関数をCE損失に組み込むことでこの問題に対処しようとした。 そこで本稿では,ノイズの多いデータ上でそのような表現を学習するための,新しいコントラスト正規化関数を提案する。
• 参考スコア（独自算出の注目度）: 26.23187556876699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are able to memorize noisy labels easily with a softmax cross-entropy (CE) loss. Previous studies attempted to address this issue focus on incorporating a noise-robust loss function to the CE loss. However, the memorization issue is alleviated but still remains due to the non-robust CE loss. To address this issue, we focus on learning robust contrastive representations of data on which the classifier is hard to memorize the label noise under the CE loss. We propose a novel contrastive regularization function to learn such representations over noisy data where label noise does not dominate the representation learning. By theoretically investigating the representations induced by the proposed regularization function, we reveal that the learned representations keep information related to true labels and discard information related to corrupted labels. Moreover, our theoretical results also indicate that the learned representations are robust to the label noise. The effectiveness of this method is demonstrated with experiments on benchmark datasets.
• Abstract（参考訳）: ディープニューラルネットワークは、ソフトマックスクロスエントロピー(CE)損失でノイズラベルを容易に記憶することができる。 従来の研究では、ノイズロス関数をCE損失に組み込むことに重点を置いていた。 しかし、記憶の問題は緩和されているが、いまだに非破壊的なCE損失のために残っている。 この問題に対処するために,分類器がCE損失下でラベルノイズを記憶し難いデータに対して,頑健なコントラスト表現を学習することに注力する。 本稿では,ラベルノイズが表現学習を支配しない雑音データに対して,そのような表現を学習するための新しいコントラスト正規化関数を提案する。 提案する正規化関数によって引き起こされる表現を理論的に検討することにより,学習された表現が真のラベルに関する情報を保持し,破損したラベルに関する情報を破棄することを明らかにした。 さらに, 実験結果から, 学習した表現がラベル雑音に対して頑健であることを示唆する。 本手法の有効性は,ベンチマークデータセットを用いた実験により実証された。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
  チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。 従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。 まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
  論文  参考訳（メタデータ） (2023-08-14T06:04:50Z)
• Alternative Pseudo-Labeling for Semi-Supervised Automatic Speech Recognition [49.42732949233184]
  ラベル付きデータが不十分な場合、擬似ラベル技術による半教師付き学習は自動音声認識の性能を大幅に向上させることができる。 損失関数のグラウンドトルースとしてノイズラベルを取ると、最適以下の性能が得られる。 そこで我々は,ノイズの多い擬似ラベル問題に対処するために,代替擬似ラベル方式という新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-12T12:13:52Z)
• Adversary-Aware Partial label learning with Label distillation [47.18584755798137]
  本稿では、Ad-Aware partial Label Learningを紹介し、各インスタンスの候補ラベルのコレクションに、ノイズの多いラベルのセットである$textitrival$を紹介します。 提案手法は, CIFAR10, CIFAR100, CUB200データセットに対して有望な結果を得る。
  論文  参考訳（メタデータ） (2023-04-02T10:18:30Z)
• Learning advisor networks for noisy image classification [22.77447144331876]
  本稿では,画像分類におけるノイズラベルの問題に対処するためのアドバイザネットワークの概念を紹介する。 私たちはメタラーニング戦略でそれをトレーニングし、メインモデルのトレーニングを通じて適応できるようにしました。 我々はCIFAR10とCIFAR100を合成雑音で試験し,実環境雑音を含むCrothing1Mを用いて最先端の結果を報告する。
  論文  参考訳（メタデータ） (2022-11-08T11:44:08Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。