論文の概要: Pseudo-label Correction for Instance-dependent Noise Using Teacher-student Framework

• arxiv url: http://arxiv.org/abs/2311.14237v1
• Date: Fri, 24 Nov 2023 00:36:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 16:17:00.820301
• Title: Pseudo-label Correction for Instance-dependent Noise Using Teacher-student Framework
• Title（参考訳）: teacher-student framework を用いたインスタンス依存ノイズの擬似ラベル補正
• Authors: Eugene Kim
• Abstract要約: P-LC (pseudo-label correct) と呼ばれる新しい教師支援型フレームワークを提案する。 提案手法では,教師ネットワークを三重エンコーダに再構成し,三重項損失を利用して擬似ラベル補正システムを構築する。 MNIST、Fashion-MNIST、SVHNの実験では、P-LCは全てのノイズレベルにわたって既存の最先端手法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 1.2618527387900083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The high capacity of deep learning models to learn complex patterns poses a significant challenge when confronted with label noise. The inability to differentiate clean and noisy labels ultimately results in poor generalization. We approach this problem by reassigning the label for each image using a new teacher-student based framework termed P-LC (pseudo-label correction). Traditional teacher-student networks are composed of teacher and student classifiers for knowledge distillation. In our novel approach, we reconfigure the teacher network into a triple encoder, leveraging the triplet loss to establish a pseudo-label correction system. As the student generates pseudo labels for a set of given images, the teacher learns to choose between the initially assigned labels and the pseudo labels. Experiments on MNIST, Fashion-MNIST, and SVHN demonstrate P-LC's superior performance over existing state-of-the-art methods across all noise levels, most notably in high noise. In addition, we introduce a noise level estimation to help assess model performance and inform the need for additional data cleaning procedures.
• Abstract（参考訳）: 複雑なパターンを学ぶためのディープラーニングモデルのキャパシティは、ラベルノイズに直面すると大きな課題となる。 クリーンでノイズの多いラベルを区別できないため、最終的に一般化が不十分になる。 P-LC (pseudo-label correct) と呼ばれる新しい教師支援型フレームワークを用いて,各画像のラベルを再割り当てすることで,この問題に対処する。 伝統的な教師ネットワークは知識蒸留のための教師と学生の分類器で構成されている。 提案手法では,教師ネットワークを三重エンコーダに再構成し,三重項損失を利用して擬似ラベル補正システムを構築する。 学生が与えられた画像の集合に対して擬似ラベルを生成すると、教師は最初に割り当てられたラベルと擬似ラベルのどちらを選択するかを学ぶ。 MNIST、Fashion-MNIST、SVHNの実験では、P-LCは全てのノイズレベルにおいて既存の最先端手法よりも優れた性能を示している。 さらに,モデルの性能評価を支援するノイズレベル推定手法を導入し,付加的なデータクリーニング手順の必要性を通知する。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Blind Knowledge Distillation for Robust Image Classification [19.668440671541546]
  ブラインド知識蒸留(Blind Knowledge Distillation)は、ノイズラベルで学習する教師による学習方法である。 我々はOtsusアルゴリズムを用いて、一般化からオーバーフィッティングまでのチップポイントを推定する。 実験では, Blind Knowledge Distillation がトレーニング中の過剰適合を効果的に検出することを示した。
  論文  参考訳（メタデータ） (2022-11-21T11:17:07Z)
• Label Matching Semi-Supervised Object Detection [85.99282969977541]
  半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。 ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。 本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-14T05:59:41Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• Two Wrongs Don't Make a Right: Combating Confirmation Bias in Learning with Label Noise [6.303101074386922]
  Robust Label Refurbishment (Robust LR) は、擬似ラベルと信頼度推定技術を組み込んだ新しいハイブリッド手法である。 本手法はラベルノイズと確認バイアスの両方の損傷を軽減できることを示す。 例えば、Robust LRは、実世界のノイズデータセットであるWebVisionにおいて、以前の最高値よりも最大4.5%の絶対的トップ1精度の向上を実現している。
  論文  参考訳（メタデータ） (2021-12-06T12:10:17Z)
• Instance-dependent Label-noise Learning under a Structural Causal Model [92.76400590283448]
  ラベルノイズはディープラーニングアルゴリズムの性能を劣化させる。 構造因果モデルを活用することにより,実例依存型ラベルノイズ学習のための新しい生成手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T10:42:54Z)
• Noisy Labels Can Induce Good Representations [53.47668632785373]
  アーキテクチャがノイズラベルによる学習に与える影響について検討する。 ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。 この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
  論文  参考訳（メタデータ） (2020-12-23T18:58:05Z)
• Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
  大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。 大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。 本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
  論文  参考訳（メタデータ） (2020-09-30T15:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。