論文の概要: Joint Negative and Positive Learning for Noisy Labels

• arxiv url: http://arxiv.org/abs/2104.06574v1
• Date: Wed, 14 Apr 2021 01:32:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:32:57.977805
• Title: Joint Negative and Positive Learning for Noisy Labels
• Title（参考訳）: 雑音ラベルに対する共同否定学習と肯定学習
• Authors: Youngdong Kim, Juseung Yun, Hyounguk Shon, Junmo Kim
• Abstract要約: 雑音ラベルデータを用いた畳み込みニューラルネットワーク(cnns)の訓練は課題である。 Negative Learning for Noisy Labels (NLNL) はノイズデータへの過度な適合を防ぐのに極めて有効であることが証明されている。 本稿では,NLNLの新たな改良手法を提案する。JNPL(Joint Negative and Positive Learning)は,フィルタパイプラインをひとつのステージに統合する。
• 参考スコア（独自算出の注目度）: 27.40582280297886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training of Convolutional Neural Networks (CNNs) with data with noisy labels is known to be a challenge. Based on the fact that directly providing the label to the data (Positive Learning; PL) has a risk of allowing CNNs to memorize the contaminated labels for the case of noisy data, the indirect learning approach that uses complementary labels (Negative Learning for Noisy Labels; NLNL) has proven to be highly effective in preventing overfitting to noisy data as it reduces the risk of providing faulty target. NLNL further employs a three-stage pipeline to improve convergence. As a result, filtering noisy data through the NLNL pipeline is cumbersome, increasing the training cost. In this study, we propose a novel improvement of NLNL, named Joint Negative and Positive Learning (JNPL), that unifies the filtering pipeline into a single stage. JNPL trains CNN via two losses, NL+ and PL+, which are improved upon NL and PL loss functions, respectively. We analyze the fundamental issue of NL loss function and develop new NL+ loss function producing gradient that enhances the convergence of noisy data. Furthermore, PL+ loss function is designed to enable faster convergence to expected-to-be-clean data. We show that the NL+ and PL+ train CNN simultaneously, significantly simplifying the pipeline, allowing greater ease of practical use compared to NLNL. With a simple semi-supervised training technique, our method achieves state-of-the-art accuracy for noisy data classification based on the superior filtering ability.
• Abstract（参考訳）: ノイズラベル付きデータによる畳み込みニューラルネットワーク(CNN)のトレーニングは難しいことが知られている。 ラベルをデータに直接提供すること(Positive Learning; PL)は、CNNがノイズデータの場合の汚染ラベルを記憶するリスクがあるという事実に基づいて、補完ラベル(Negative Learning for Noisy Labels; NLNL)を使用する間接学習アプローチは、ノイズデータへの過度な適合を防止するのに非常に有効であることが証明された。 NLNLはさらに収束を改善するために3段階のパイプラインを使用している。 その結果、NLNLパイプラインによるノイズの多いデータのフィルタリングは困難であり、トレーニングコストが増大する。 本研究では,NLNLの新たな改良手法であるJNPL(Joint Negative and Positive Learning)を提案する。 JNPL は NL+ と PL+ の2つの損失により CNN を訓練し、それぞれ NL と PL の損失関数を改善した。 nl損失関数の基本問題を分析し,雑音データの収束性を高める新しいnl+損失関数生成勾配を開発した。 さらに、PL+損失関数は、期待されるクリーンデータへのより高速な収束を可能にするように設計されている。 NL+とPL+は同時にCNNを訓練し、パイプラインを大幅に単純化し、NLNLと比較して実用的な使用が容易になった。 本手法は,単純な半教師付き学習手法を用いて,優れたフィルタリング能力に基づくノイズデータ分類の最先端精度を実現する。

関連論文リスト

• Unlocking the Hidden Treasures: Enhancing Recommendations with Unlabeled Data [12.53644929739924]
  コラボレーティブ・フィルタリング(CF)はレコメンダ・システムの基盤となっている。 ニュートラル・ニュートラル・ネガティブ(PNN)学習パラダイムを新たに導入する。 PNNは複雑なユーザの好みを学習するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-12-24T05:07:55Z)
• PLReMix: Combating Noisy Labels with Pseudo-Label Relaxed Contrastive Representation Learning [7.556169113399857]
  Pseudo-Label Relaxed (PLR) のコントラスト損失を導入することで、エンドツーエンドの textbfPLReMix フレームワークを提案する。 提案したPLR損失はプラガブルであり,他のLNL手法に統合し,その性能改善を観察した。
  論文  参考訳（メタデータ） (2024-02-27T15:22:20Z)
• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Fine-Grained Classification with Noisy Labels [31.128588235268126]
  雑音ラベル(LNL)を用いた学習は,ラベルが破損したトレーニングセットからモデル一般化を保証することを目的としている。 粒度データセット(LNL-FG)におけるLNLの滅多に研究されていないシナリオについて検討する。 本稿では,識別可能な表現を奨励することによってラベルノイズに直面する雑音耐性教師付きコントラスト学習(SNSCL)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-04T12:32:45Z)
• Scalable Penalized Regression for Noise Detection in Learning with Noisy Labels [44.79124350922491]
  理論的に保証された雑音ラベル検出フレームワークを用いて,雑音ラベルを用いた学習のためのノイズデータの検出と除去を行う。 具体的には,ネットワーク特徴量と1ホットラベルの線形関係をモデル化するためのペナル化回帰を設計する。 多数のカテゴリやトレーニングデータを含むデータセットに対して,フレームワークをスケーラブルにするために,トレーニングセット全体を小片に分割する分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-15T11:09:58Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Self-Competitive Neural Networks [0.0]
  ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。 DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。 近年,データ拡張手法の提案が盛んに行われている。 本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
  論文  参考訳（メタデータ） (2020-08-22T12:28:35Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization [60.07531696857743]
  2つの目的の交互最小化によるDNNとソフトラベルの共学習 本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T17:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。