論文の概要: Blind Knowledge Distillation for Robust Image Classification

• arxiv url: http://arxiv.org/abs/2211.11355v1
• Date: Mon, 21 Nov 2022 11:17:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 21:10:04.669835
• Title: Blind Knowledge Distillation for Robust Image Classification
• Title（参考訳）: ロバスト画像分類のためのブラインド知識蒸留
• Authors: Timo Kaiser, Lukas Ehmann, Christoph Reinders and Bodo Rosenhahn
• Abstract要約: ブラインド知識蒸留(Blind Knowledge Distillation)は、ノイズラベルで学習する教師による学習方法である。 我々はOtsusアルゴリズムを用いて、一般化からオーバーフィッティングまでのチップポイントを推定する。 実験では, Blind Knowledge Distillation がトレーニング中の過剰適合を効果的に検出することを示した。
• 参考スコア（独自算出の注目度）: 19.668440671541546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing neural networks with noisy labels is a challenging task, especially if the label set contains real-world noise. Networks tend to generalize to reasonable patterns in the early training stages and overfit to specific details of noisy samples in the latter ones. We introduce Blind Knowledge Distillation - a novel teacher-student approach for learning with noisy labels by masking the ground truth related teacher output to filter out potentially corrupted knowledge and to estimate the tipping point from generalizing to overfitting. Based on this, we enable the estimation of noise in the training data with Otsus algorithm. With this estimation, we train the network with a modified weighted cross-entropy loss function. We show in our experiments that Blind Knowledge Distillation detects overfitting effectively during training and improves the detection of clean and noisy labels on the recently published CIFAR-N dataset. Code is available at GitHub.
• Abstract（参考訳）: ノイズラベルによるニューラルネットワークの最適化は、特にラベルセットが現実世界のノイズを含んでいる場合、難しい課題である。 ネットワークは、初期のトレーニング段階において合理的なパターンに一般化し、後者の場合のノイズサンプルの特定の詳細に過剰に適合する傾向がある。 そこで本研究では,教師の発声をマスキングし,潜在的に損なわれる可能性のある知識をフィルタリングし,一般化から過失化までのチップポイントを推定し,ノイズラベルを用いた新しい教師・教師の学習手法を提案する。 これにより,大津アルゴリズムを用いて学習データ中の雑音の推定を行うことができる。 この推定により,重み付きクロスエントロピー損失関数を改良してネットワークを訓練する。 我々は、Blind Knowledge Distillationがトレーニング中に効果的に過剰適合を検出し、最近発表されたCIFAR-Nデータセット上でクリーンでノイズの多いラベルの検出を改善することを示す。 コードはGitHubで入手できる。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Learning advisor networks for noisy image classification [22.77447144331876]
  本稿では,画像分類におけるノイズラベルの問題に対処するためのアドバイザネットワークの概念を紹介する。 私たちはメタラーニング戦略でそれをトレーニングし、メインモデルのトレーニングを通じて適応できるようにしました。 我々はCIFAR10とCIFAR100を合成雑音で試験し,実環境雑音を含むCrothing1Mを用いて最先端の結果を報告する。
  論文  参考訳（メタデータ） (2022-11-08T11:44:08Z)
• Dynamic Adaptive Threshold based Learning for Noisy Annotations Robust Facial Expression Recognition [3.823356975862006]
  ノイズの多いアノテーションを扱うための動的FER学習フレームワーク(DNFER)を提案する。 具体的には、DNFERは、選択されたクリーンサンプルを使用した教師ありトレーニングと、すべてのサンプルを使用した教師なし一貫性のあるトレーニングに基づいている。 我々は,RAFDB,FERPlus,SFEW,AffectNetなどの実雑音付きFERデータセットに対して,DNFERの堅牢性を示す。
  論文  参考訳（メタデータ） (2022-08-22T12:02:41Z)
• Context-based Virtual Adversarial Training for Text Classification with Noisy Labels [1.9508698179748525]
  本研究では,テキスト分類器が雑音ラベルに過度に収まらないよう,コンテキストベースの仮想対位訓練(ConVAT)を提案する。 従来の手法とは異なり,提案手法は入力よりも文脈レベルで逆学習を行う。 2種類のラベルノイズを持つ4つのテキスト分類データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-05-29T14:19:49Z)
• Robust Training under Label Noise by Over-parameterization [41.03008228953627]
  本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。 ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。 注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
  論文  参考訳（メタデータ） (2022-02-28T18:50:10Z)
• Robust Long-Tailed Learning under Label Noise [50.00837134041317]
  本研究では,長期ラベル分布におけるラベルノイズ問題について検討する。 本稿では,長期学習のための雑音検出を実現する頑健なフレームワークAlgoを提案する。 我々のフレームワークは、半教師付き学習アルゴリズムを自然に活用して一般化をさらに改善することができる。
  論文  参考訳（メタデータ） (2021-08-26T03:45:00Z)
• Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
  大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。 大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。 本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
  論文  参考訳（メタデータ） (2020-09-30T15:45:36Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。