論文の概要: Learning with Noisy Labels by Efficient Transition Matrix Estimation to Combat Label Miscorrection

• arxiv url: http://arxiv.org/abs/2111.14932v1
• Date: Mon, 29 Nov 2021 20:12:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 13:57:48.649709
• Title: Learning with Noisy Labels by Efficient Transition Matrix Estimation to Combat Label Miscorrection
• Title（参考訳）: ラベル誤りに対する効率的な遷移行列推定による雑音ラベル学習
• Authors: Seong Min Kye, Kwanghee Choi, Joonyoung Yi, and Buru Chang
• Abstract要約: ノイズラベルを用いた学習に関する最近の研究は、小さなクリーンデータセットを利用して顕著な性能を示した。 モデルメタラーニングに基づくラベル補正手法は, ハエの雑音ラベルを補正することにより, さらなる性能向上を図っている。 しかし、ラベルの誤りに対する保護は存在せず、性能劣化は避けられない。 本研究では,ラベル遷移行列を高速に学習する頑健で効率的な手法を提案する。
• 参考スコア（独自算出の注目度）: 3.48062110627933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies on learning with noisy labels have shown remarkable performance by exploiting a small clean dataset. In particular, model agnostic meta-learning-based label correction methods further improve performance by correcting noisy labels on the fly. However, there is no safeguard on the label miscorrection, resulting in unavoidable performance degradation. Moreover, every training step requires at least three back-propagations, significantly slowing down the training speed. To mitigate these issues, we propose a robust and efficient method that learns a label transition matrix on the fly. Employing the transition matrix makes the classifier skeptical about all the corrected samples, which alleviates the miscorrection issue. We also introduce a two-head architecture to efficiently estimate the label transition matrix every iteration within a single back-propagation, so that the estimated matrix closely follows the shifting noise distribution induced by label correction. Extensive experiments demonstrate that our approach shows the best performance in training efficiency while having comparable or better accuracy than existing methods.
• Abstract（参考訳）: ノイズラベルを用いた学習に関する最近の研究は、小さなクリーンデータセットを利用して顕著な性能を示した。 特にモデル非依存なメタラーニングに基づくラベル補正手法は、オンザフライでノイズの多いラベルを訂正することでパフォーマンスをさらに向上させる。 しかし、ラベルの誤りに対する保護は存在せず、性能劣化は避けられない。 さらに、トレーニングステップごとに少なくとも3つのバックプロパゲーションが必要となり、トレーニング速度が大幅に低下する。 これらの問題を解決するために,ラベル遷移行列をリアルタイムで学習するロバストで効率的な手法を提案する。 遷移行列を用いると、分類器は全ての修正されたサンプルについて懐疑的になる。 また,1つのバックプロパゲーション内の反復毎にラベル遷移行列を効率的に推定するため,ラベル補正によって生じるシフト雑音分布に密接に従う2つのヘッドアーキテクチャを導入する。 大規模な実験により,本手法は既存の手法と同等あるいは高い精度で,訓練効率の最高の性能を示した。

関連論文リスト

• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Multi-Label Noise Transition Matrix Estimation with Label Correlations: Theory and Algorithm [73.94839250910977]
  ノイズの多いマルチラベル学習は、大規模な正確なラベルの収集によって生じる課題により、注目を集めている。 遷移行列の導入は、マルチラベルノイズをモデル化し、統計的に一貫したアルゴリズムの開発に役立つ。 そこで本稿では, アンカーポイントを必要とせずに, ラベル相関を利用した新しい推定器を提案する。
  論文  参考訳（メタデータ） (2023-09-22T08:35:38Z)
• Alternative Pseudo-Labeling for Semi-Supervised Automatic Speech Recognition [49.42732949233184]
  ラベル付きデータが不十分な場合、擬似ラベル技術による半教師付き学習は自動音声認識の性能を大幅に向上させることができる。 損失関数のグラウンドトルースとしてノイズラベルを取ると、最適以下の性能が得られる。 そこで我々は,ノイズの多い擬似ラベル問題に対処するために,代替擬似ラベル方式という新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-12T12:13:52Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Two Wrongs Don't Make a Right: Combating Confirmation Bias in Learning with Label Noise [6.303101074386922]
  Robust Label Refurbishment (Robust LR) は、擬似ラベルと信頼度推定技術を組み込んだ新しいハイブリッド手法である。 本手法はラベルノイズと確認バイアスの両方の損傷を軽減できることを示す。 例えば、Robust LRは、実世界のノイズデータセットであるWebVisionにおいて、以前の最高値よりも最大4.5%の絶対的トップ1精度の向上を実現している。
  論文  参考訳（メタデータ） (2021-12-06T12:10:17Z)
• Multi-Label Gold Asymmetric Loss Correction with Single-Label Regulators [6.129273021888717]
  本稿では,単一ラベルレギュレータ(GALC-SLR)を用いたGold Asymmetric Loss Correctionを提案する。 GALC-SLRは、単一ラベルサンプルを用いてノイズ混乱行列を推定し、推定された混乱行列を介して非対称な損失補正を構築し、雑音ラベルへの過度な適合を避ける。 実験結果から,本手法は,全ての汚損レベルにおいて,最先端の非対称損失マルチラベル分類器よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-08-04T12:57:29Z)
• Dual T: Reducing Estimation Error for Transition Matrix in Label-noise Learning [157.2709657207203]
  遷移行列を推定する既存の方法は、ノイズのあるクラス後部を推定することに大きく依存している。 雑音のクラス後部を直接推定するのを避けるために中間クラスを導入する。 この中間クラスにより、元の遷移行列は2つの容易に推定できる遷移行列の積に分解できる。
  論文  参考訳（メタデータ） (2020-06-14T05:48:20Z)
• Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
  本研究では,新しいメタ遷移学習戦略を提案する。 具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。 本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
  論文  参考訳（メタデータ） (2020-06-10T07:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。