論文の概要: Noisy Labels Can Induce Good Representations

• arxiv url: http://arxiv.org/abs/2012.12896v1
• Date: Wed, 23 Dec 2020 18:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 18:24:02.087190
• Title: Noisy Labels Can Induce Good Representations
• Title（参考訳）: ノイズラベルは良い表現を誘導できる
• Authors: Jingling Li, Mozhi Zhang, Keyulu Xu, John P. Dickerson, Jimmy Ba
• Abstract要約: アーキテクチャがノイズラベルによる学習に与える影響について検討する。 ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。 この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
• 参考スコア（独自算出の注目度）: 53.47668632785373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current success of deep learning depends on large-scale labeled datasets. In practice, high-quality annotations are expensive to collect, but noisy annotations are more affordable. Previous works report mixed empirical results when training with noisy labels: neural networks can easily memorize random labels, but they can also generalize from noisy labels. To explain this puzzle, we study how architecture affects learning with noisy labels. We observe that if an architecture "suits" the task, training with noisy labels can induce useful hidden representations, even when the model generalizes poorly; i.e., the last few layers of the model are more negatively affected by noisy labels. This finding leads to a simple method to improve models trained on noisy labels: replacing the final dense layers with a linear model, whose weights are learned from a small set of clean data. We empirically validate our findings across three architectures (Convolutional Neural Networks, Graph Neural Networks, and Multi-Layer Perceptrons) and two domains (graph algorithmic tasks and image classification). Furthermore, we achieve state-of-the-art results on image classification benchmarks by combining our method with existing approaches on noisy label training.
• Abstract（参考訳）: ディープラーニングの現在の成功は、大規模なラベル付きデータセットに依存する。 実際には、高品質なアノテーションは収集にコストがかかるが、うるさいアノテーションはより安価である。 ニューラルネットワークはランダムラベルを簡単に記憶することができるが、ノイズラベルから一般化することもできる。 このパズルを説明するために,アーキテクチャが雑音ラベルによる学習に与える影響について検討する。 アーキテクチャがタスクに適合すると、モデルが一般化が不十分な場合でも、ノイズラベルを用いたトレーニングが有用な隠れ表現を誘導する。 この発見は、ノイズの多いラベルで訓練されたモデルを改善するための単純な方法をもたらす: 最終的な密度の高い層を線形モデルに置き換え、その重みは小さなクリーンなデータから学習する。 我々は,3つのアーキテクチャ(畳み込みニューラルネットワーク,グラフニューラルネットワーク,マルチレイヤパーセプトロン)と2つのドメイン(グラフアルゴリズムタスクと画像分類)にまたがる結果を実証的に検証した。 さらに,提案手法と既存のラベル学習手法を組み合わせることで,画像分類ベンチマークの最先端結果を得る。

関連論文リスト

• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
  特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。 合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-02-04T15:46:27Z)
• Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis [69.48582264712854]
  本研究では,頑健な視覚的感情分析を行うための頑健な学習手法を提案する。 本手法は,トレーニング中にノイズラベルを集約・フィルタリングするために外部メモリに依存している。 公開データセットを用いたラベルノイズを用いた視覚的感情分析のベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-09-15T18:18:28Z)
• Instance-dependent Label-noise Learning under a Structural Causal Model [92.76400590283448]
  ラベルノイズはディープラーニングアルゴリズムの性能を劣化させる。 構造因果モデルを活用することにより,実例依存型ラベルノイズ学習のための新しい生成手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T10:42:54Z)
• Robust Long-Tailed Learning under Label Noise [50.00837134041317]
  本研究では,長期ラベル分布におけるラベルノイズ問題について検討する。 本稿では,長期学習のための雑音検出を実現する頑健なフレームワークAlgoを提案する。 我々のフレームワークは、半教師付き学習アルゴリズムを自然に活用して一般化をさらに改善することができる。
  論文  参考訳（メタデータ） (2021-08-26T03:45:00Z)
• Superpixel-guided Iterative Learning from Noisy Labels for Medical Image Segmentation [24.557755528031453]
  セグメンテーションネットワークの雑音認識学習とノイズラベル改善を組み合わせた,頑健な反復学習戦略を開発する。 2つのベンチマーク実験により,本手法は最近の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-21T14:27:36Z)
• Learning from Noisy Labels for Entity-Centric Information Extraction [17.50856935207308]
  エンティティ中心の情報抽出のための単純な共正規化フレームワークを提案する。 これらのモデルはタスク固有の損失と共同最適化され、同様の予測を生成するために正規化される。 結局のところ、トレーニングされたモデルのいずれかを推論に利用できます。
  論文  参考訳（メタデータ） (2021-04-17T22:49:12Z)
• Co-Seg: An Image Segmentation Framework Against Label Corruption [8.219887855003648]
  改良されたディープラーニングのパフォーマンスは、トレーニングのための高品質なラベルの可用性に強く結びついている。 我々は,低品質なノイズラベルを含むデータセット上でセグメンテーションネットワークを協調的に学習する新しいフレームワーク,Co-Segを提案する。 我々のフレームワークはどんなセグメンテーションアルゴリズムでも容易に実装でき、ノイズの多いラベルへのロバスト性を高めることができる。
  論文  参考訳（メタデータ） (2021-01-31T20:01:40Z)
• A Survey on Deep Learning with Noisy Labels: How to train your model when you cannot trust on the annotations? [21.562089974755125]
  ノイズラベルの存在下でのディープラーニングモデルのトレーニングを改善するために,いくつかのアプローチが提案されている。 本稿では,ロバストな損失,サンプル重み付け,サンプル選択,メタラーニング,組み合わせアプローチの3つのグループでアルゴリズムを分類する。
  論文  参考訳（メタデータ） (2020-12-05T15:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。