論文の概要: Learning from Noisy Labels via Dynamic Loss Thresholding

• arxiv url: http://arxiv.org/abs/2104.02570v1
• Date: Thu, 1 Apr 2021 07:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 22:03:32.234389
• Title: Learning from Noisy Labels via Dynamic Loss Thresholding
• Title（参考訳）: 動的損失しきい値による雑音ラベルからの学習
• Authors: Hao Yang, Youzhi Jin, Ziyin Li, Deng-Bao Wang, Lei Miao, Xin Geng, Min-Ling Zhang
• Abstract要約: 我々はDLT(Dynamic Loss Thresholding)という新しい手法を提案する。 トレーニングプロセス中、DLTは各サンプルの損失値を記録し、動的損失閾値を算出する。 CIFAR-10/100 と Clothing1M の実験は、最近の最先端手法よりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 69.61904305229446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous researches have proved that deep neural networks (DNNs) can fit everything in the end even given data with noisy labels, and result in poor generalization performance. However, recent studies suggest that DNNs tend to gradually memorize the data, moving from correct data to mislabeled data. Inspired by this finding, we propose a novel method named Dynamic Loss Thresholding (DLT). During the training process, DLT records the loss value of each sample and calculates dynamic loss thresholds. Specifically, DLT compares the loss value of each sample with the current loss threshold. Samples with smaller losses can be considered as clean samples with higher probability and vice versa. Then, DLT discards the potentially corrupted labels and further leverages supervised learning techniques. Experiments on CIFAR-10/100 and Clothing1M demonstrate substantial improvements over recent state-of-the-art methods. In addition, we investigate two real-world problems for the first time. Firstly, we propose a novel approach to estimate the noise rates of datasets based on the loss difference between the early and late training stages of DNNs. Secondly, we explore the effect of hard samples (which are difficult to be distinguished) on the process of learning from noisy labels.
• Abstract（参考訳）: 多くの研究により、ディープニューラルネットワーク(DNN)がノイズのあるラベルを持つデータであっても、最終的にすべてに適合できることが証明され、結果として一般化性能は低下する。 しかし最近の研究では、DNNはデータを徐々に記憶し、正しいデータから間違ったラベル付きデータに移行する傾向にあることが示唆されている。 そこで本研究では,DLT(Dynamic Loss Thresholding)という新しい手法を提案する。 トレーニングプロセス中、DLTは各サンプルの損失値を記録し、動的損失閾値を算出する。 具体的には、dltは各サンプルの損失値と電流損失閾値を比較する。 損失が少ないサンプルはより高い確率でクリーンなサンプルと見なすことができる。 そして、DLTは、潜在的に破損したラベルを捨て、さらに教師付き学習技術を活用する。 CIFAR-10/100 と Clothing1M の実験は、最近の最先端手法よりも大幅に改善されている。 さらに,実世界の2つの問題を初めて検討した。 まず,dnnの初期訓練段階と後期訓練段階の損失差に基づいて,データセットの雑音率を推定する新しい手法を提案する。 第二に、ノイズラベルから学習する過程におけるハードサンプル(区別が難しい)の効果について検討する。

関連論文リスト

• On the Benefits of Fine-Grained Loss Truncation: A Case Study on Factuality in Summarization [25.282499952331094]
  Loss Truncation (LT) は、トレーニング中にノイズのあるサンプルを適応的に除去するために、標準的なログ損失を変更するアプローチである。 LTだけでは、様々なデータセット上でかなり多くの幻覚的実体が得られることを示す。 本研究では, 微細なNLL損失と微細なデータクリーニング戦略を提案し, いくつかのデータセットにおける幻覚減少の改善を観察する。
  論文  参考訳（メタデータ） (2024-03-09T04:20:26Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
  ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2023-03-21T03:05:21Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
  ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。 損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。 ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
  論文  参考訳（メタデータ） (2022-02-27T23:06:31Z)
• Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
  破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。 既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。 しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
  論文  参考訳（メタデータ） (2021-12-30T09:20:07Z)
• Sample Selection with Uncertainty of Losses for Learning with Noisy Labels [145.06552420999986]
  ノイズの多いラベルで学習する際、サンプル選択アプローチは非常に人気があり、小さなロスデータをトレーニング中に正しくラベル付けされているとみなす。 しかし、ノイズラベルでトレーニングされたモデルに基づいて、損失をオンザフライで発生させるため、大容量のデータはおそらく正しくないが、確実に誤りではない。 本稿では,損失点推定の代わりに間隔推定を採用することにより,損失の不確実性を取り入れる。
  論文  参考訳（メタデータ） (2021-06-01T12:53:53Z)
• Identifying Training Stop Point with Noisy Labeled Data [0.0]
  テスト精度(MOTA)に近いトレーニング停止点(TSP)を見つけるためのアルゴリズムを開発しています。 我々は,CIFAR-10,CIFAR-100,実世界の雑音データを用いて,アルゴリズム(AutoTSP)のロバスト性を検証した。
  論文  参考訳（メタデータ） (2020-12-24T20:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。