論文の概要: Early-Learning Regularization Prevents Memorization of Noisy Labels
- arxiv url: http://arxiv.org/abs/2007.00151v2
- Date: Thu, 22 Oct 2020 22:18:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 04:26:34.504369
- Title: Early-Learning Regularization Prevents Memorization of Noisy Labels
- Title（参考訳）: 初期学習規則化は雑音ラベルの記憶を抑える
- Authors: Sheng Liu, Jonathan Niles-Weed, Narges Razavian, Carlos
Fernandez-Granda
- Abstract要約: 本稿では,ノイズの多いアノテーションの存在下で,ディープラーニングによる分類を行うための新しいフレームワークを提案する。
深層ニューラルネットワークは、"早期学習"フェーズにおいて、トレーニングデータをクリーンなラベルに適合させることが観察されている。
我々は、これらの目標に向けてモデルを操る正規化用語を設計し、偽ラベルの記憶を暗黙的に防止する。
- 参考スコア（独自算出の注目度）: 29.04549895470588
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel framework to perform classification via deep learning in
the presence of noisy annotations. When trained on noisy labels, deep neural
networks have been observed to first fit the training data with clean labels
during an "early learning" phase, before eventually memorizing the examples
with false labels. We prove that early learning and memorization are
fundamental phenomena in high-dimensional classification tasks, even in simple
linear models, and give a theoretical explanation in this setting. Motivated by
these findings, we develop a new technique for noisy classification tasks,
which exploits the progress of the early learning phase. In contrast with
existing approaches, which use the model output during early learning to detect
the examples with clean labels, and either ignore or attempt to correct the
false labels, we take a different route and instead capitalize on early
learning via regularization. There are two key elements to our approach. First,
we leverage semi-supervised learning techniques to produce target probabilities
based on the model outputs. Second, we design a regularization term that steers
the model towards these targets, implicitly preventing memorization of the
false labels. The resulting framework is shown to provide robustness to noisy
annotations on several standard benchmarks and real-world datasets, where it
achieves results comparable to the state of the art.
- Abstract（参考訳）: 本稿では,ノイズのあるアノテーションの存在下で深層学習による分類を行うための新しい枠組みを提案する。
ノイズのあるラベルでトレーニングを行うと、ディープニューラルネットワークがまず“早期学習”フェーズでトレーニングデータをクリーンなラベルに適合させ、最終的には偽ラベルでサンプルを記憶する。
我々は, 線形モデルにおいても, 早期学習と暗記が高次元分類タスクの基本現象であることを証明し, 理論的な説明を与える。
これらの知見を活かして,早期学習の進行を生かした雑音分類タスクの新しい手法を開発した。
学習中にモデル出力を使用してクリーンなラベルでサンプルを検出し、偽ラベルを無視または修正しようとする既存のアプローチとは対照的に、我々は異なる経路を採り、正規化を通じて早期学習に乗じる。
私たちのアプローチには2つの重要な要素があります。
まず,モデル出力に基づく目標確率を生成するために,半教師付き学習技術を活用する。
第二に、これらの目標に向けてモデルをステアリングする正規化項を設計し、偽ラベルの暗黙的に記憶を防止する。
結果として得られるフレームワークは、いくつかの標準ベンチマークや実世界のデータセットでノイズの多いアノテーションに対して堅牢性を提供する。
関連論文リスト
- Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。
誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。
ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-26T12:43:25Z) - Unleashing the Potential of Regularization Strategies in Learning with
Noisy Labels [65.92994348757743]
クロスエントロピー損失を用いた単純なベースラインと、広く使われている正規化戦略を組み合わせることで、最先端の手法より優れていることを示す。
この結果から,正規化戦略の組み合わせは,ノイズラベルを用いた学習の課題に対処する上で,複雑なアルゴリズムよりも効果的であることが示唆された。
論文 参考訳（メタデータ） (2023-07-11T05:58:20Z) - Learning with Noisy Labels through Learnable Weighting and Centroid Similarity [5.187216033152917]
ノイズラベルは、医学診断や自律運転などの領域で一般的である。
本稿では,雑音ラベルの存在下で機械学習モデルを訓練するための新しい手法を提案する。
以上の結果から,本手法は既存の最先端技術よりも一貫して優れていることがわかった。
論文 参考訳（メタデータ） (2023-03-16T16:43:24Z) - Adaptive Early-Learning Correction for Segmentation from Noisy
Annotations [13.962891776039369]
不正確な注釈付きデータに基づいて訓練されたディープセグメンテーションネットワークの学習ダイナミクスについて検討する。
2つのキー要素を持つノイズの多いアノテーションから分割する新しい手法を提案する。
論文 参考訳（メタデータ） (2021-10-07T18:46:23Z) - Robust Long-Tailed Learning under Label Noise [50.00837134041317]
本研究では,長期ラベル分布におけるラベルノイズ問題について検討する。
本稿では,長期学習のための雑音検出を実現する頑健なフレームワークAlgoを提案する。
我々のフレームワークは、半教師付き学習アルゴリズムを自然に活用して一般化をさらに改善することができる。
論文 参考訳（メタデータ） (2021-08-26T03:45:00Z) - Confidence Adaptive Regularization for Deep Learning with Noisy Labels [2.0349696181833337]
ディープニューラルネットワークのノイズラベルに対する記憶効果に関する最近の研究は、ネットワークが正しくラベル付けされたトレーニングサンプルに最初に適合し、誤ってラベル付けされたサンプルを記憶することを示している。
そこで本研究では,この早期学習現象に触発されて,誤記サンプルの暗記を防止する新しい方法を提案する。
我々は,合成および実世界のデータセットに関する理論的解析と実験を行い,本手法が最先端の手法に匹敵する結果をもたらすことを示す。
論文 参考訳（メタデータ） (2021-08-18T15:51:25Z) - Learning from Noisy Labels for Entity-Centric Information Extraction [17.50856935207308]
エンティティ中心の情報抽出のための単純な共正規化フレームワークを提案する。
これらのモデルはタスク固有の損失と共同最適化され、同様の予測を生成するために正規化される。
結局のところ、トレーニングされたモデルのいずれかを推論に利用できます。
論文 参考訳（メタデータ） (2021-04-17T22:49:12Z) - A Theoretical Analysis of Learning with Noisily Labeled Data [62.946840431501855]
最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。
次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
論文 参考訳（メタデータ） (2021-04-08T23:40:02Z) - Noisy Labels Can Induce Good Representations [53.47668632785373]
アーキテクチャがノイズラベルによる学習に与える影響について検討する。
ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。
この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
論文 参考訳（メタデータ） (2020-12-23T18:58:05Z) - Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。
この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
論文 参考訳（メタデータ） (2020-02-16T09:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。