論文の概要: A Theoretical Analysis of Learning with Noisily Labeled Data

• arxiv url: http://arxiv.org/abs/2104.04114v1
• Date: Thu, 8 Apr 2021 23:40:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 21:03:06.169761
• Title: A Theoretical Analysis of Learning with Noisily Labeled Data
• Title（参考訳）: 雑音ラベル付きデータによる学習の理論解析
• Authors: Yi Xu, Qi Qian, Hao Li, Rong Jin
• Abstract要約: 最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。 次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
• 参考スコア（独自算出の注目度）: 62.946840431501855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Noisy labels are very common in deep supervised learning. Although many studies tend to improve the robustness of deep training for noisy labels, rare works focus on theoretically explaining the training behaviors of learning with noisily labeled data, which is a fundamental principle in understanding its generalization. In this draft, we study its two phenomena, clean data first and phase transition, by explaining them from a theoretical viewpoint. Specifically, we first show that in the first epoch training, the examples with clean labels will be learned first. We then show that after the learning from clean data stage, continuously training model can achieve further improvement in testing error when the rate of corrupted class labels is smaller than a certain threshold; otherwise, extensively training could lead to an increasing testing error.
• Abstract（参考訳）: ノイズラベルは、深い教師付き学習において非常に一般的である。 多くの研究は、ノイズラベルの深層学習の堅牢性を改善する傾向にあるが、希少な研究は、ノイズラベル付きデータによる学習の訓練行動を理論的に説明することに焦点を当てている。 本稿では,その2つの現象である清潔なデータファーストと相転移を理論的に説明して考察する。 具体的には、最初のエポックトレーニングで、クリーンラベルの例が最初に学習されることを示す。 次に,クリーンなデータステージから学習した後,不正なクラスラベルの割合が一定のしきい値よりも小さい場合,連続的なトレーニングモデルにより,テストエラーのさらなる改善が期待できることを示す。

関連論文リスト

• Why Fine-grained Labels in Pretraining Benefit Generalization? [12.171634061370616]
  近年の研究では、詳細なラベル付きデータでディープニューラルネットワークを事前トレーニングし、粗ラベル付きデータで微調整すると、粗ラベル付きデータで事前トレーニングするよりもより優れた一般化が得られることが示されている。 本稿では,入力データ分布を限定する階層的マルチビュー構造を導入することで,このギャップに対処する。 1)粗粒度事前学習はニューラルネットワークが共通の特徴をうまく学習するのに対して,2)粗粒度事前学習は,一般的な特徴に加えて稀な特徴をネットワークが学習するのに役立つため,ハードダウンストリームテストサンプルの精度が向上する。
  論文  参考訳（メタデータ） (2024-10-30T15:41:30Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Robust Positive-Unlabeled Learning via Noise Negative Sample Self-correction [48.929877651182885]
  正および未ラベルのデータから学ぶことは、文学における正の未ラベル(PU)学習として知られている。 本研究では,人間の学習の性質を動機とした学習戦略を取り入れた,新しい堅牢なPU学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-01T04:34:52Z)
• On Emergence of Clean-Priority Learning in Early Stopped Neural Networks [18.725557157004214]
  トレーニングデータセットにランダムラベルノイズが付加されると、ラベルなしテストデータセット上のニューラルネットワークの予測誤差が悪化する。 この振る舞いは、ニューラルネットワークがまずクリーンデータのパターンを学習し、後にトレーニングにノイズを適合させた結果であると考えられている。 クリーン・プライオリティ学習が進むにつれて、ノイズの多いサンプルよりもクリーンなサンプルの勾配が支配的になることを示す。
  論文  参考訳（メタデータ） (2023-06-05T01:45:22Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Robust Long-Tailed Learning under Label Noise [50.00837134041317]
  本研究では,長期ラベル分布におけるラベルノイズ問題について検討する。 本稿では,長期学習のための雑音検出を実現する頑健なフレームワークAlgoを提案する。 我々のフレームワークは、半教師付き学習アルゴリズムを自然に活用して一般化をさらに改善することができる。
  論文  参考訳（メタデータ） (2021-08-26T03:45:00Z)
• Early-Learning Regularization Prevents Memorization of Noisy Labels [29.04549895470588]
  本稿では,ノイズの多いアノテーションの存在下で,ディープラーニングによる分類を行うための新しいフレームワークを提案する。 深層ニューラルネットワークは、"早期学習"フェーズにおいて、トレーニングデータをクリーンなラベルに適合させることが観察されている。 我々は、これらの目標に向けてモデルを操る正規化用語を設計し、偽ラベルの記憶を暗黙的に防止する。
  論文  参考訳（メタデータ） (2020-06-30T23:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。