論文の概要: Learning from Noisy Labels with Decoupled Meta Label Purifier
- arxiv url: http://arxiv.org/abs/2302.06810v1
- Date: Tue, 14 Feb 2023 03:39:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 16:28:44.179606
- Title: Learning from Noisy Labels with Decoupled Meta Label Purifier
- Title（参考訳）: 分離メタラベル除去器を用いた雑音ラベルからの学習
- Authors: Yuanpeng Tu, Boshen Zhang, Yuxi Li, Liang Liu, Jian Li, Jiangning
Zhang, Yabiao Wang, Chengjie Wang, Cai Rong Zhao
- Abstract要約: ディープニューラルネットワークをノイズラベルでトレーニングすることは、DNNが不正確なラベルを容易に記憶できるため、難しい。
本稿では,DMLPと呼ばれる新しい多段ラベル浄化器を提案する。
DMLPはラベル訂正プロセスをラベルなし表現学習と単純なメタラベル精製器に分離する。
- 参考スコア（独自算出の注目度）: 33.87292143223425
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Training deep neural networks(DNN) with noisy labels is challenging since DNN
can easily memorize inaccurate labels, leading to poor generalization ability.
Recently, the meta-learning based label correction strategy is widely adopted
to tackle this problem via identifying and correcting potential noisy labels
with the help of a small set of clean validation data. Although training with
purified labels can effectively improve performance, solving the meta-learning
problem inevitably involves a nested loop of bi-level optimization between
model weights and hyper-parameters (i.e., label distribution). As compromise,
previous methods resort to a coupled learning process with alternating update.
In this paper, we empirically find such simultaneous optimization over both
model weights and label distribution can not achieve an optimal routine,
consequently limiting the representation ability of backbone and accuracy of
corrected labels. From this observation, a novel multi-stage label purifier
named DMLP is proposed. DMLP decouples the label correction process into
label-free representation learning and a simple meta label purifier. In this
way, DMLP can focus on extracting discriminative feature and label correction
in two distinctive stages. DMLP is a plug-and-play label purifier, the purified
labels can be directly reused in naive end-to-end network retraining or other
robust learning methods, where state-of-the-art results are obtained on several
synthetic and real-world noisy datasets, especially under high noise levels.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)をノイズラベルでトレーニングすることは、DNNが不正確なラベルを記憶しやすく、一般化能力の低下につながるため、難しい。
近年,メタラーニングに基づくラベル修正戦略が広く採用され,潜在的なノイズラベルの識別と修正を,少数のクリーンな検証データの助けを借りて行っている。
純粋ラベルを用いたトレーニングはパフォーマンスを効果的に向上させることができるが、メタラーニングの問題を解決するには、必然的にモデルウェイトとハイパーパラメータ(ラベル分布)の間の二段階最適化のネストループが伴う。
妥協点として、以前の方法では、交互更新を伴う結合学習プロセスを採用している。
本稿では,モデル重みとラベル分布の両方に対する同時最適化が最適ルーチンを達成することができないことを実証的に見出し,バックボーンの表現能力と補正ラベルの精度を制限した。
本報告では, DMLPと呼ばれる多段ラベルの新規精製法を提案する。
DMLPはラベル訂正プロセスをラベルなし表現学習と単純なメタラベル精製器に分離する。
このようにして、DMLPは2つの異なる段階において識別的特徴とラベル補正を抽出することに集中することができる。
DMLPはプラグ・アンド・プレイ・ラベル・パーファイアであり、この精製されたラベルは、直感的なエンドツーエンドのネットワークリトレーニングや他の堅牢な学習手法で直接再利用することができる。
関連論文リスト
- Online Multi-Label Classification under Noisy and Changing Label Distribution [9.17381554071824]
本稿では,Nuisy and Changing Label Distribution (NCLD) に基づくオンラインマルチラベル分類アルゴリズムを提案する。
NCLDへの頑健さは3つの新作の恩恵を受けるため,ラベルスコアとラベルランキングを高い精度で同時にモデル化することを目的としている。
論文 参考訳（メタデータ） (2024-10-03T11:16:43Z) - Inaccurate Label Distribution Learning with Dependency Noise [52.08553913094809]
本稿では,依存雑音に基づく不正確なラベル分布学習(DN-ILDL)フレームワークを導入し,ラベル分布学習におけるノイズによる課題に対処する。
本稿では,DN-ILDLがILDL問題に効果的に対処し,既存のLCL法より優れていることを示す。
論文 参考訳（メタデータ） (2024-05-26T07:58:07Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳（メタデータ） (2023-05-31T03:01:36Z) - All Points Matter: Entropy-Regularized Distribution Alignment for
Weakly-supervised 3D Segmentation [67.30502812804271]
擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。
本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
論文 参考訳（メタデータ） (2023-05-25T08:19:31Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳（メタデータ） (2022-12-06T07:38:29Z) - Two Wrongs Don't Make a Right: Combating Confirmation Bias in Learning
with Label Noise [6.303101074386922]
Robust Label Refurbishment (Robust LR) は、擬似ラベルと信頼度推定技術を組み込んだ新しいハイブリッド手法である。
本手法はラベルノイズと確認バイアスの両方の損傷を軽減できることを示す。
例えば、Robust LRは、実世界のノイズデータセットであるWebVisionにおいて、以前の最高値よりも最大4.5%の絶対的トップ1精度の向上を実現している。
論文 参考訳（メタデータ） (2021-12-06T12:10:17Z) - An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for
Noisy Labels [0.9699640804685629]
大規模なデータセットには、ディープニューラルネットワーク(DNN)によって記憶されるような、ラベルのずれたサンプルが含まれている傾向があります。
本稿では, ノイズデータからクリーンなサンプルを効果的に選択するために, アンサンブルノイズ・ロバスト K-fold Cross-Validation Selection (E-NKCVS) を提案する。
我々は,ラベルが手動で異なる雑音比で破損した様々な画像・テキスト分類タスクに対するアプローチを評価する。
論文 参考訳（メタデータ） (2021-07-06T02:14:52Z) - Semi-supervised Relation Extraction via Incremental Meta Self-Training [56.633441255756075]
半教師付き関係抽出法は,限られたサンプルからの学習に加え,ラベルのないデータを活用することを目的としている。
既存の自己学習手法は段階的なドリフト問題に悩まされ、未ラベルデータにノイズのある擬似ラベルが組み込まれている。
本稿では,リレーショナルラベル生成ネットワークが,メタオブジェクトとしてリレーショナル分類ネットワークを成功・失敗に導くことによって,擬似ラベルの品質評価を生成するメタSREという手法を提案する。
論文 参考訳（メタデータ） (2020-10-06T03:54:11Z) - Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。
ラベル修正戦略はこの問題を軽減するために一般的に用いられる。
メタ学習モデルを提案する。
論文 参考訳（メタデータ） (2020-08-03T03:25:17Z) - Meta Soft Label Generation for Noisy Labels [0.0]
我々はMSLGと呼ばれるメタソフトラベル生成アルゴリズムを提案する。
MSLGはメタラーニング技術を用いてソフトラベルを共同で生成できる。
我々の手法は、他の最先端の手法よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2020-07-11T19:37:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。