論文の概要: Noisy Labels Can Induce Good Representations

• arxiv url: http://arxiv.org/abs/2012.12896v1
• Date: Wed, 23 Dec 2020 18:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 18:24:02.087190
• Title: Noisy Labels Can Induce Good Representations
• Title（参考訳）: ノイズラベルは良い表現を誘導できる
• Authors: Jingling Li, Mozhi Zhang, Keyulu Xu, John P. Dickerson, Jimmy Ba
• Abstract要約: アーキテクチャがノイズラベルによる学習に与える影響について検討する。 ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。 この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
• 参考スコア（独自算出の注目度）: 53.47668632785373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current success of deep learning depends on large-scale labeled datasets. In practice, high-quality annotations are expensive to collect, but noisy annotations are more affordable. Previous works report mixed empirical results when training with noisy labels: neural networks can easily memorize random labels, but they can also generalize from noisy labels. To explain this puzzle, we study how architecture affects learning with noisy labels. We observe that if an architecture "suits" the task, training with noisy labels can induce useful hidden representations, even when the model generalizes poorly; i.e., the last few layers of the model are more negatively affected by noisy labels. This finding leads to a simple method to improve models trained on noisy labels: replacing the final dense layers with a linear model, whose weights are learned from a small set of clean data. We empirically validate our findings across three architectures (Convolutional Neural Networks, Graph Neural Networks, and Multi-Layer Perceptrons) and two domains (graph algorithmic tasks and image classification). Furthermore, we achieve state-of-the-art results on image classification benchmarks by combining our method with existing approaches on noisy label training.
• Abstract（参考訳）: ディープラーニングの現在の成功は、大規模なラベル付きデータセットに依存する。 実際には、高品質なアノテーションは収集にコストがかかるが、うるさいアノテーションはより安価である。 ニューラルネットワークはランダムラベルを簡単に記憶することができるが、ノイズラベルから一般化することもできる。 このパズルを説明するために,アーキテクチャが雑音ラベルによる学習に与える影響について検討する。 アーキテクチャがタスクに適合すると、モデルが一般化が不十分な場合でも、ノイズラベルを用いたトレーニングが有用な隠れ表現を誘導する。 この発見は、ノイズの多いラベルで訓練されたモデルを改善するための単純な方法をもたらす: 最終的な密度の高い層を線形モデルに置き換え、その重みは小さなクリーンなデータから学習する。 我々は,3つのアーキテクチャ(畳み込みニューラルネットワーク,グラフニューラルネットワーク,マルチレイヤパーセプトロン)と2つのドメイン(グラフアルゴリズムタスクと画像分類)にまたがる結果を実証的に検証した。 さらに,提案手法と既存のラベル学習手法を組み合わせることで,画像分類ベンチマークの最先端結果を得る。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis [69.48582264712854]
  本研究では,頑健な視覚的感情分析を行うための頑健な学習手法を提案する。 本手法は,トレーニング中にノイズラベルを集約・フィルタリングするために外部メモリに依存している。 公開データセットを用いたラベルノイズを用いた視覚的感情分析のベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-09-15T18:18:28Z)
• A Survey on Deep Learning with Noisy Labels: How to train your model when you cannot trust on the annotations? [21.562089974755125]
  ノイズラベルの存在下でのディープラーニングモデルのトレーニングを改善するために,いくつかのアプローチが提案されている。 本稿では,ロバストな損失,サンプル重み付け,サンプル選択,メタラーニング,組み合わせアプローチの3つのグループでアルゴリズムを分類する。
  論文  参考訳（メタデータ） (2020-12-05T15:45:20Z)
• Grafit: Learning fine-grained image representations with coarse labels [114.17782143848315]
  本稿では,学習ラベルの提供するものよりも細かな表現を学習する問題に対処する。 粗いラベルと下層の細粒度潜在空間を併用することにより、カテゴリレベルの検索手法の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-11-25T19:06:26Z)
• Combining Self-Supervised and Supervised Learning with Noisy Labels [41.627404715407586]
  畳み込みニューラルネットワーク(CNN)は、ノイズの多いラベルに容易に適合する。 CNNを堅牢にトレーニングすることは、大きな課題でした。
  論文  参考訳（メタデータ） (2020-11-16T18:13:41Z)
• Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
  大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。 大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。 本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
  論文  参考訳（メタデータ） (2020-09-30T15:45:36Z)
• Label Noise Types and Their Effects on Deep Learning [0.0]
  本研究では,異なる種類のラベルノイズが学習に与える影響を詳細に分析する。 本稿では,特徴に依存したラベルノイズを生成する汎用フレームワークを提案する。 他の研究者がノイズの多いラベルでアルゴリズムをテストしやすいように、最も一般的に使用されているベンチマークデータセットに対して、破損したラベルを共有します。
  論文  参考訳（メタデータ） (2020-03-23T18:03:39Z)
• Multi-Class Classification from Noisy-Similarity-Labeled Data [98.13491369929798]
  雑音に類似したラベル付きデータのみから学習する方法を提案する。 ノイズ遷移行列を用いて、クリーンデータとノイズデータの間にクラス後確率をブリッジする。 雑音のないクラスラベルをインスタンスに割り当てる新しい学習システムを構築した。
  論文  参考訳（メタデータ） (2020-02-16T05:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。