論文の概要: Correlated Input-Dependent Label Noise in Large-Scale Image Classification

• arxiv url: http://arxiv.org/abs/2105.10305v1
• Date: Wed, 19 May 2021 17:30:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 03:36:42.912725
• Title: Correlated Input-Dependent Label Noise in Large-Scale Image Classification
• Title（参考訳）: 大規模画像分類における相関入力依存ラベルノイズ
• Authors: Mark Collier, Basil Mustafa, Efi Kokiopoulou, Rodolphe Jenatton and Jesse Berent
• Abstract要約: 我々は、データセット内のラベルノイズとしてヘテロセダスティック(herescedastic, label noise)として知られる入力依存のモデリングに対して、原則的な確率論的アプローチをとる。 学習された共分散構造は、意味的に類似したクラスと共起するクラスの間のラベルノイズの既知の情報源をキャプチャする。 We set a new-of-the-art results on WebVision 1.0 with 76.6% top-1 accuracy。
• 参考スコア（独自算出の注目度）: 4.979361059762468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large scale image classification datasets often contain noisy labels. We take a principled probabilistic approach to modelling input-dependent, also known as heteroscedastic, label noise in these datasets. We place a multivariate Normal distributed latent variable on the final hidden layer of a neural network classifier. The covariance matrix of this latent variable, models the aleatoric uncertainty due to label noise. We demonstrate that the learned covariance structure captures known sources of label noise between semantically similar and co-occurring classes. Compared to standard neural network training and other baselines, we show significantly improved accuracy on Imagenet ILSVRC 2012 79.3% (+2.6%), Imagenet-21k 47.0% (+1.1%) and JFT 64.7% (+1.6%). We set a new state-of-the-art result on WebVision 1.0 with 76.6% top-1 accuracy. These datasets range from over 1M to over 300M training examples and from 1k classes to more than 21k classes. Our method is simple to use, and we provide an implementation that is a drop-in replacement for the final fully-connected layer in a deep classifier.
• Abstract（参考訳）: 大規模な画像分類データセットは、しばしばノイズラベルを含む。 これらのデータセットにおいて、入力依存(ヘテロシドスティック)、ラベルノイズ(ラベルノイズ)のモデル化には、原理的確率論的アプローチを採用する。 ニューラルネットワーク分類器の最終的な隠蔽層上に,多変量正規分布潜時変数を配置する。 この潜伏変数の共分散行列はラベルノイズによるアレタリック不確かさをモデル化する。 学習された共分散構造は、意味的に類似したクラスと共起クラスの間のラベルノイズの既知のソースをキャプチャする。 標準のニューラルネットワークトレーニングや他のベースラインと比較して、Imagenet ILSVRC 2012 79.3%(+2.6%)、Imagenet-21k 47.0%(+1.1%)、JFT 64.7%(+1.6%)の精度が大幅に向上した。 We set a new-of-the-art results on WebVision 1.0 with 76.6% top-1 accuracy。 これらのデータセットは、1m以上から300m以上のトレーニング例、1kクラスから21kクラスに及ぶ。 提案手法は, 使用が簡単であり, 深層分類器における最終完全接続層をドロップインで置き換える実装を提供する。

関連論文リスト

• Semi-Supervised Learning with Pseudo-Negative Labels for Image Classification [14.100569951592417]
  擬陰性ラベルに基づく相互学習フレームワークを提案する。 擬似負ラベルの予測確率を下げることにより、二重モデルは予測能力を向上させることができる。 我々のフレームワークは、いくつかの主要なベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-01-10T14:15:17Z)
• Invariant Learning via Diffusion Dreamed Distribution Shifts [121.71383835729848]
  拡散ドリーム分布シフト(D3S)と呼ばれるデータセットを提案する。 D3Sは、テキストプロンプトを用いてStableDiffusionを通じて生成された合成画像と、サンプルフォアグラウンドイメージを背景テンプレートイメージにペーストした画像ガイドから構成される。 拡散モデルの驚くべきフォトリアリズムのため、我々の画像は以前の合成データセットよりも自然な画像に近い。
  論文  参考訳（メタデータ） (2022-11-18T17:07:43Z)
• Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
  特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。 合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-02-04T15:46:27Z)
• Improved Regularization and Robustness for Fine-tuning in Neural Networks [5.626364462708321]
  転送学習に広く用いられるアルゴリズムは微調整であり、少量のラベル付きデータを用いて、事前学習されたモデルを目標タスクに微調整する。 本稿では,正規化と自己ラベルの一般化という,正規化の自己ラベル化を提案する。 提案手法は、7つの画像分類タスクに対して1.76%(平均)、数ショット分類タスクに対して0.75%改善する。
  論文  参考訳（メタデータ） (2021-11-08T15:39:44Z)
• Instance-based Label Smoothing For Better Calibrated Classification Networks [3.388509725285237]
  ラベルの平滑化はディープニューラルネットワークで多クラス分類に広く利用されている。 ラベルのスムース化と自己蒸留の両方からインスピレーションを得ます。 本稿では2つの新しいインスタンスベースのラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:33:23Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
  大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。 大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。 本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
  論文  参考訳（メタデータ） (2020-09-30T15:45:36Z)
• SCAN: Learning to Classify Images without Labels [73.69513783788622]
  機能学習とクラスタリングを分離する2段階のアプローチを提唱する。 表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。 我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
  論文  参考訳（メタデータ） (2020-05-25T18:12:33Z)
• Learning from Noisy Labels with Noise Modeling Network [7.523041606515877]
  ノイズモデリングネットワーク(NMN)は、私たちの畳み込みニューラルネットワーク(CNN)に従い、それを統合します。 NMNはノイズデータから直接ノイズパターンの分布を学習する。 統合NMN/CNN学習システムでは,一貫した分類性能の向上が期待できる。
  論文  参考訳（メタデータ） (2020-05-01T20:32:22Z)
• Multi-Class Classification from Noisy-Similarity-Labeled Data [98.13491369929798]
  雑音に類似したラベル付きデータのみから学習する方法を提案する。 ノイズ遷移行列を用いて、クリーンデータとノイズデータの間にクラス後確率をブリッジする。 雑音のないクラスラベルをインスタンスに割り当てる新しい学習システムを構築した。
  論文  参考訳（メタデータ） (2020-02-16T05:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。