論文の概要: Understanding and Improving Early Stopping for Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2106.15853v1
• Date: Wed, 30 Jun 2021 07:18:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 23:34:51.657849
• Title: Understanding and Improving Early Stopping for Learning with Noisy Labels
• Title（参考訳）: 雑音ラベル学習における早期停止の理解と改善
• Authors: Yingbin Bai, Erkun Yang, Bo Han, Yanhua Yang, Jiatong Li, Yinian Mao, Gang Niu, Tongliang Liu
• Abstract要約: ディープニューラルネットワーク(DNN)の記憶効果は、多くの最先端のラベルノイズ学習法において重要な役割を担っている。 現在の手法は一般的にDNN全体を考慮して早期停止点を決定する。 我々は、DNNを異なる部分に分割し、この問題に対処するよう徐々に訓練することを提案する。
• 参考スコア（独自算出の注目度）: 63.0730063791198
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The memorization effect of deep neural network (DNN) plays a pivotal role in many state-of-the-art label-noise learning methods. To exploit this property, the early stopping trick, which stops the optimization at the early stage of training, is usually adopted. Current methods generally decide the early stopping point by considering a DNN as a whole. However, a DNN can be considered as a composition of a series of layers, and we find that the latter layers in a DNN are much more sensitive to label noise, while their former counterparts are quite robust. Therefore, selecting a stopping point for the whole network may make different DNN layers antagonistically affected each other, thus degrading the final performance. In this paper, we propose to separate a DNN into different parts and progressively train them to address this problem. Instead of the early stopping, which trains a whole DNN all at once, we initially train former DNN layers by optimizing the DNN with a relatively large number of epochs. During training, we progressively train the latter DNN layers by using a smaller number of epochs with the preceding layers fixed to counteract the impact of noisy labels. We term the proposed method as progressive early stopping (PES). Despite its simplicity, compared with the early stopping, PES can help to obtain more promising and stable results. Furthermore, by combining PES with existing approaches on noisy label training, we achieve state-of-the-art performance on image classification benchmarks.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の記憶効果は、多くの最先端のラベルノイズ学習法において重要な役割を果たす。 この特性を利用するために、トレーニングの初期段階で最適化を停止する早期停止トリックが一般的に採用されている。 現在の手法は一般的にDNN全体を考慮して早期停止点を決定する。 しかし、DNNは一連のレイヤの合成と見なすことができ、DNNの後者のレイヤはラベルノイズに対してはるかに敏感であり、以前のレイヤは極めて堅牢である。 したがって、ネットワーク全体の停止点を選択すると、異なるDNN層が敵対的に影響を受け、最終的な性能が低下する可能性がある。 本稿では,DNNを異なる部分に分割し,それを段階的に訓練してこの問題に対処することを提案する。 最初は、DNN全体を一度に訓練する早期停止ではなく、比較的多くのエポックでDNNを最適化することで、元のDNN層を訓練します。 トレーニング中、我々は、ノイズラベルの影響に対処するために前層を固定した少ないエポックを用いて、後者のDNN層を段階的に訓練する。 提案手法をプログレッシブ早期停止(PES)と呼ぶ。 その単純さにもかかわらず、初期の停止と比べて、peはより有望で安定した結果を得るのに役立つ。 さらに,PESとノイズラベル学習の既存手法を組み合わせることで,画像分類ベンチマークの最先端性能を実現する。

関連論文リスト

• Early-Exit with Class Exclusion for Efficient Inference of Neural Networks [4.180653524441411]
  ディープニューラルネットワーク(DNN)における動的推論のためのクラスベース早期抽出法を提案する。 これらのレイヤで学んだ機能を活用して、可能な限り多くの無関係なクラスを除外します。 実験により、推論におけるDNNの計算コストを大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2023-09-23T18:12:27Z)
• Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
  ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2023-03-21T03:05:21Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Fast Axiomatic Attribution for Neural Networks [44.527672563424545]
  最近のアプローチには、望ましくない機能への依存を減らすために、トレーニングプロセスにディープニューラルネットワーク(DNN)の機能帰属に関する先行が含まれている。 本稿では, 1 つの前方/後方パスのみを用いて, 公理的特徴属性を計算できる DNN の高効率な公理的帰属性について考察する。 様々な実験により、$mathcalX$-DNNsの利点が示され、通常のDNNに対する最先端の一般的な帰属法を破り、帰属前の訓練に役立てられる。
  論文  参考訳（メタデータ） (2021-11-15T10:51:01Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Going Deeper With Directly-Trained Larger Spiking Neural Networks [20.40894876501739]
  スパイキングニューラルネットワーク(SNN)は、バイオユースブルな情報とイベント駆動信号処理のためのコーディングを約束している。 しかし、SNNのユニークな動作モードにより、従来のネットワークよりもトレーニングが困難になる。 CIF依存型バッチ正規化法(tpladBN)を提案する。
  論文  参考訳（メタデータ） (2020-10-29T07:15:52Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。