論文の概要: Scalable Penalized Regression for Noise Detection in Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2203.07788v1
• Date: Tue, 15 Mar 2022 11:09:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 15:11:05.182306
• Title: Scalable Penalized Regression for Noise Detection in Learning with Noisy Labels
• Title（参考訳）: 雑音ラベル学習における雑音検出のためのスケーラブルなペナルド回帰法
• Authors: Yikai Wang, Xinwei Sun, and Yanwei Fu
• Abstract要約: 理論的に保証された雑音ラベル検出フレームワークを用いて,雑音ラベルを用いた学習のためのノイズデータの検出と除去を行う。 具体的には,ネットワーク特徴量と1ホットラベルの線形関係をモデル化するためのペナル化回帰を設計する。 多数のカテゴリやトレーニングデータを含むデータセットに対して,フレームワークをスケーラブルにするために,トレーニングセット全体を小片に分割する分割アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 44.79124350922491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Noisy training set usually leads to the degradation of generalization and robustness of neural networks. In this paper, we propose using a theoretically guaranteed noisy label detection framework to detect and remove noisy data for Learning with Noisy Labels (LNL). Specifically, we design a penalized regression to model the linear relation between network features and one-hot labels, where the noisy data are identified by the non-zero mean shift parameters solved in the regression model. To make the framework scalable to datasets that contain a large number of categories and training data, we propose a split algorithm to divide the whole training set into small pieces that can be solved by the penalized regression in parallel, leading to the Scalable Penalized Regression (SPR) framework. We provide the non-asymptotic probabilistic condition for SPR to correctly identify the noisy data. While SPR can be regarded as a sample selection module for standard supervised training pipeline, we further combine it with semi-supervised algorithm to further exploit the support of noisy data as unlabeled data. Experimental results on several benchmark datasets and real-world noisy datasets show the effectiveness of our framework. Our code and pretrained models are released at https://github.com/Yikai-Wang/SPR-LNL.
• Abstract（参考訳）: ノイズのあるトレーニングセットは通常、ニューラルネットワークの一般化と堅牢性の低下につながる。 本稿では,理論上保証される雑音ラベル検出フレームワークを用いて,雑音ラベル(lnl)を用いた学習のための雑音データの検出と除去を行う。 具体的には,ネットワーク特徴と1つのホットラベルの線形関係をモデル化するためにペナルティ化回帰をデザインし,回帰モデルで解いた非ゼロ平均シフトパラメータを用いて雑音データを同定する。 多数のカテゴリとトレーニングデータを含むデータセットにスケーラブルなフレームワークを提供するため,ペナライズドレグレッション(penalized regression, ペナライズドレグレッション)によって並列に解決可能な,トレーニングセット全体を小さなピースに分割するための分割アルゴリズムを提案し,スケーラブルなペナライズレグレッション(spr)フレームワークを導出する。 雑音データを正確に識別するための非漸近確率条件を提案する。 SPRは、標準教師付きトレーニングパイプラインのサンプル選択モジュールとみなすことができるが、さらに半教師付きアルゴリズムと組み合わせて、ノイズの多いデータをラベルなしデータとしてさらに活用する。 いくつかのベンチマークデータセットと実世界のノイズデータセットの実験結果から,我々のフレームワークの有効性が示された。 私たちのコードとトレーニング済みモデルはhttps://github.com/yikai-wang/spr-lnlでリリースしています。

関連論文リスト

• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
  雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。 Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。 さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
  論文  参考訳（メタデータ） (2023-01-02T07:13:28Z)
• Learning Confident Classifiers in the Presence of Label Noise [5.829762367794509]
  本稿では,ノイズ観測のための確率論的モデルを提案し,信頼性の高い分類とセグメンテーションモデルの構築を可能にする。 実験により,本アルゴリズムは,検討された分類問題と分割問題に対して,最先端の解よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-02T04:27:25Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• Robust Training under Label Noise by Over-parameterization [41.03008228953627]
  本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。 ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。 注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
  論文  参考訳（メタデータ） (2022-02-28T18:50:10Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。