論文の概要: Learning to Purify Noisy Labels via Meta Soft Label Corrector

• arxiv url: http://arxiv.org/abs/2008.00627v1
• Date: Mon, 3 Aug 2020 03:25:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 06:22:18.088748
• Title: Learning to Purify Noisy Labels via Meta Soft Label Corrector
• Title（参考訳）: meta soft label correctorによるノイズラベルの純化の学習
• Authors: Yichen Wu, Jun Shu, Qi Xie, Qian Zhao and Deyu Meng
• Abstract要約: 最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。 ラベル修正戦略はこの問題を軽減するために一般的に用いられる。 メタ学習モデルを提案する。
• 参考スコア（独自算出の注目度）: 49.92310583232323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent deep neural networks (DNNs) can easily overfit to biased training data with noisy labels. Label correction strategy is commonly used to alleviate this issue by designing a method to identity suspected noisy labels and then correct them. Current approaches to correcting corrupted labels usually need certain pre-defined label correction rules or manually preset hyper-parameters. These fixed settings make it hard to apply in practice since the accurate label correction usually related with the concrete problem, training data and the temporal information hidden in dynamic iterations of training process. To address this issue, we propose a meta-learning model which could estimate soft labels through meta-gradient descent step under the guidance of noise-free meta data. By viewing the label correction procedure as a meta-process and using a meta-learner to automatically correct labels, we could adaptively obtain rectified soft labels iteratively according to current training problems without manually preset hyper-parameters. Besides, our method is model-agnostic and we can combine it with any other existing model with ease. Comprehensive experiments substantiate the superiority of our method in both synthetic and real-world problems with noisy labels compared with current SOTA label correction strategies.
• Abstract（参考訳）: 最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。 ラベル修正戦略は、疑わしいノイズラベルを識別し、修正する手法を設計することでこの問題を軽減するために一般的に用いられる。 腐敗したラベルを修正する現在のアプローチでは、事前に定義されたラベル修正ルールや手動でハイパーパラメータをプリセットする必要がある。 これらの固定された設定は、具体的な問題、訓練データ、訓練プロセスの動的反復に隠された時間的情報に関連する正確なラベルの修正を行うのが困難である。 この問題に対処するために,ノイズのないメタデータの指導の下で,メタ勾配降下ステップを通じてソフトラベルを推定できるメタラーニングモデルを提案する。 ラベル補正手順をメタプロセスとして,メタリーナーを用いてラベルを自動修正することにより,手動でハイパーパラメータをプリセットすることなく,現在のトレーニング問題に従って反復的に修正されたソフトラベルを適応的に得ることができた。 さらに,本手法はモデルに依存しないため,既存のモデルと簡単に組み合わせることができる。 包括的実験は,現在のsotaラベル補正手法と比較して,ノイズラベルを用いた合成問題と実世界問題の両方において,本手法が優れていることを示す。

関連論文リスト

• Alternative Pseudo-Labeling for Semi-Supervised Automatic Speech Recognition [49.42732949233184]
  ラベル付きデータが不十分な場合、擬似ラベル技術による半教師付き学習は自動音声認識の性能を大幅に向上させることができる。 損失関数のグラウンドトルースとしてノイズラベルを取ると、最適以下の性能が得られる。 そこで我々は,ノイズの多い擬似ラベル問題に対処するために,代替擬似ラベル方式という新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-12T12:13:52Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Imprecise Label Learning: A Unified Framework for Learning with Various Imprecise Label Configurations [95.12263518034939]
  imprecise label learning (ILL)は、様々な不正確なラベル構成で学習を統合するためのフレームワークである。 我々は、ILLが部分ラベル学習、半教師付き学習、雑音ラベル学習にシームレスに適応できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T04:50:28Z)
• Learning from Noisy Labels with Decoupled Meta Label Purifier [33.87292143223425]
  ディープニューラルネットワークをノイズラベルでトレーニングすることは、DNNが不正確なラベルを容易に記憶できるため、難しい。 本稿では,DMLPと呼ばれる新しい多段ラベル浄化器を提案する。 DMLPはラベル訂正プロセスをラベルなし表現学習と単純なメタラベル精製器に分離する。
  論文  参考訳（メタデータ） (2023-02-14T03:39:30Z)
• Two Wrongs Don't Make a Right: Combating Confirmation Bias in Learning with Label Noise [6.303101074386922]
  Robust Label Refurbishment (Robust LR) は、擬似ラベルと信頼度推定技術を組み込んだ新しいハイブリッド手法である。 本手法はラベルノイズと確認バイアスの両方の損傷を軽減できることを示す。 例えば、Robust LRは、実世界のノイズデータセットであるWebVisionにおいて、以前の最高値よりも最大4.5%の絶対的トップ1精度の向上を実現している。
  論文  参考訳（メタデータ） (2021-12-06T12:10:17Z)
• Instance Correction for Learning with Open-set Noisy Labels [145.06552420999986]
  オープンセットノイズラベルの処理にはサンプル選択方式を用いる。 廃棄されたデータは間違ったラベルで書かれており、トレーニングには参加していない。 廃棄されたデータのインスタンスを変更して、廃棄されたデータの予測をラベルに一致させる。
  論文  参考訳（メタデータ） (2021-06-01T13:05:55Z)
• Error-Bounded Correction of Noisy Labels [17.510654621245656]
  ノイズのある分類器の予測は、トレーニングデータのラベルがクリーンかどうかを示す良い指標であることを示す。 理論的結果に基づいて,雑音分類器の予測に基づいてラベルを補正する新しいアルゴリズムを提案する。 ラベル補正アルゴリズムをディープニューラルネットワークのトレーニングや,複数の公開データセット上で優れたテスト性能を実現するトレーニングモデルに組み込む。
  論文  参考訳（メタデータ） (2020-11-19T19:23:23Z)
• Learning Soft Labels via Meta Learning [3.4852307714135375]
  シングルホットラベルは概念間のソフトな決定境界を表現していないため、トレーニングされたモデルは過度に適合する傾向にある。 そこで我々は,ラベルを学習可能なパラメータとして扱い,モデルパラメータとともに最適化するフレームワークを提案する。 本研究では, 学習ラベルがクラス間の意味的関係を捉え, 蒸留の下流作業における教師モデルを改善することを示す。
  論文  参考訳（メタデータ） (2020-09-20T18:42:13Z)
• Meta Soft Label Generation for Noisy Labels [0.0]
  我々はMSLGと呼ばれるメタソフトラベル生成アルゴリズムを提案する。 MSLGはメタラーニング技術を用いてソフトラベルを共同で生成できる。 我々の手法は、他の最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2020-07-11T19:37:44Z)
• Does label smoothing mitigate label noise? [57.76529645344897]
  ラベルの平滑化はラベルノイズ下での損失補正と競合することを示す。 ノイズの多いデータからモデルを蒸留する場合,教師のラベルの平滑化は有益であることを示す。
  論文  参考訳（メタデータ） (2020-03-05T18:43:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。