論文の概要: Deep Learning is Provably Robust to Symmetric Label Noise

• arxiv url: http://arxiv.org/abs/2210.15083v1
• Date: Wed, 26 Oct 2022 23:41:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 13:11:03.966375
• Title: Deep Learning is Provably Robust to Symmetric Label Noise
• Title（参考訳）: ディープラーニングはおそらく対称ラベルノイズに頑丈である
• Authors: Carey E. Priebe, Ningyuan Huang, Soledad Villar, Cong Mu, Li Chen
• Abstract要約: ある種のディープニューラルネットワーク(DNN)は、情報理論しきい値まで巨大な対称ラベルノイズを許容できることを示す。 我々は、一般的なラベルノイズに対して、ノイズデータを利用する緩和戦略はノイズデータを無視しているものよりも優れていると推測する。
• 参考スコア（独自算出の注目度）: 20.496591498468778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are capable of perfectly fitting the training data, including memorizing noisy data. It is commonly believed that memorization hurts generalization. Therefore, many recent works propose mitigation strategies to avoid noisy data or correct memorization. In this work, we step back and ask the question: Can deep learning be robust against massive label noise without any mitigation? We provide an affirmative answer for the case of symmetric label noise: We find that certain DNNs, including under-parameterized and over-parameterized models, can tolerate massive symmetric label noise up to the information-theoretic threshold. By appealing to classical statistical theory and universal consistency of DNNs, we prove that for multiclass classification, $L_1$-consistent DNN classifiers trained under symmetric label noise can achieve Bayes optimality asymptotically if the label noise probability is less than $\frac{K-1}{K}$, where $K \ge 2$ is the number of classes. Our results show that for symmetric label noise, no mitigation is necessary for $L_1$-consistent estimators. We conjecture that for general label noise, mitigation strategies that make use of the noisy data will outperform those that ignore the noisy data.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、ノイズの多いデータを記憶するなど、トレーニングデータを完全に適合させることができる。 記憶は一般化を損なうと一般に信じられている。 したがって、近年の多くの研究は、ノイズデータや正しい暗記を避けるための緩和戦略を提案している。 ディープラーニングは、緩和することなく、巨大なラベルノイズに対して堅牢になるのだろうか? 我々は、非パラメータモデルや過パラメータモデルを含む特定のdnnが、情報理論上の閾値まで、巨大な対称ラベルノイズを許容できることを発見した。 古典的統計理論やDNNの普遍的一貫性に訴えることで、対称ラベルノイズの下で訓練された多重クラス分類において、$L_1$-consistent DNN分類器は、ラベルノイズ確率が$\frac{K-1}{K}$未満であれば、ベイズ最適性を漸近的に達成できることを示す。 その結果, 対称ラベル雑音では, L_1$-consistent estimatorの緩和は不要であった。 一般のラベルノイズの場合、ノイズデータを利用する緩和戦略は、ノイズデータを無視した手法よりも優れていると推測する。

関連論文リスト

• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning [89.56465237941013]
  UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。 90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
  論文  参考訳（メタデータ） (2022-03-28T07:36:36Z)
• Scalable Penalized Regression for Noise Detection in Learning with Noisy Labels [44.79124350922491]
  理論的に保証された雑音ラベル検出フレームワークを用いて,雑音ラベルを用いた学習のためのノイズデータの検出と除去を行う。 具体的には,ネットワーク特徴量と1ホットラベルの線形関係をモデル化するためのペナル化回帰を設計する。 多数のカテゴリやトレーニングデータを含むデータセットに対して,フレームワークをスケーラブルにするために,トレーニングセット全体を小片に分割する分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-15T11:09:58Z)
• Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations [54.400167806154535]
  ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。 本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。 実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
  論文  参考訳（メタデータ） (2021-10-22T22:42:11Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Error-Bounded Correction of Noisy Labels [17.510654621245656]
  ノイズのある分類器の予測は、トレーニングデータのラベルがクリーンかどうかを示す良い指標であることを示す。 理論的結果に基づいて,雑音分類器の予測に基づいてラベルを補正する新しいアルゴリズムを提案する。 ラベル補正アルゴリズムをディープニューラルネットワークのトレーニングや,複数の公開データセット上で優れたテスト性能を実現するトレーニングモデルに組み込む。
  論文  参考訳（メタデータ） (2020-11-19T19:23:23Z)
• Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels [98.13491369929798]
  そこで我々は,ノイズのあるクラスラベルを持つデータポイントを,ノイズの多い類似ラベルを持つデータペアに変換するClass2Simiというフレームワークを提案する。 Class2Simiは、この変換がミニバッチのオンザフライであるだけでなく、モデル予測上の損失をペアワイズに変化させるため、計算的に効率的である。
  論文  参考訳（メタデータ） (2020-06-14T07:55:32Z)
• NoiseRank: Unsupervised Label Noise Reduction with Dependence Models [11.08987870095179]
  マルコフランダム場(MRF)を用いた教師なしラベル雑音低減のためのノイズRankを提案する。 本研究では,データセットに誤ってラベル付けされたインスタンスの後方確率と,その推定確率に基づいてランク付けされたインスタンスを推定する依存性モデルを構築した。 NORankはFood101-N(20%ノイズ)の最先端分類を改善し、高雑音クローティング-1M(40%ノイズ)に有効である
  論文  参考訳（メタデータ） (2020-03-15T01:10:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。