論文の概要: Label Noise: Correcting a Correction

• arxiv url: http://arxiv.org/abs/2307.13100v1
• Date: Mon, 24 Jul 2023 19:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 19:02:45.355965
• Title: Label Noise: Correcting a Correction
• Title（参考訳）: ラベルノイズ:訂正の修正
• Authors: William Toner, Amos Storkey
• Abstract要約: ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 ラベルノイズによる過度適合に対処するための,より直接的なアプローチを提案する。 異なる損失関数に対する最小到達可能な雑音リスクに対して、明示的で容易に計算可能な境界を求める理論的結果を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training neural network classifiers on datasets with label noise poses a risk of overfitting them to the noisy labels. To address this issue, researchers have explored alternative loss functions that aim to be more robust. However, many of these alternatives are heuristic in nature and still vulnerable to overfitting or underfitting. In this work, we propose a more direct approach to tackling overfitting caused by label noise. We observe that the presence of label noise implies a lower bound on the noisy generalised risk. Building upon this observation, we propose imposing a lower bound on the empirical risk during training to mitigate overfitting. Our main contribution is providing theoretical results that yield explicit, easily computable bounds on the minimum achievable noisy risk for different loss functions. We empirically demonstrate that using these bounds significantly enhances robustness in various settings, with virtually no additional computational cost.
• Abstract（参考訳）: ラベルノイズを伴うデータセット上のニューラルネットワーク分類器のトレーニングは、ノイズラベルにオーバーフィットするリスクをもたらす。 この問題に対処するため、研究者はより堅牢な代替損失関数を探求した。 しかし、これらの代替品の多くは本質的にヒューリスティックであり、過給や過給に弱い。 本研究では,ラベルノイズによるオーバーフィッティングに対するより直接的なアプローチを提案する。 ラベルノイズの存在は,騒音の一般化リスクの上限を低くすることを示す。 本研究は, オーバーフィッティングを軽減すべく, トレーニング中の経験的リスクを低く抑えることを提案する。 我々の主な貢献は、異なる損失関数に対する最小可算ノイズリスクに対して、明示的かつ容易に計算可能な境界を与える理論的結果を提供することです。 実験により,これらのバウンダリを用いることで,計算コストが実質的に増加せず,各種設定での堅牢性が著しく向上することが実証された。

関連論文リスト

• Binary Classification with Instance and Label Dependent Label Noise [4.061135251278187]
  ノイズの多いサンプルによる学習は、クリーンなサンプルへのアクセスやデータの分布に関する強い仮定なしには不可能であることを示す。 その結果, ノイズの多いサンプルのみによる学習は, クリーンなサンプルへのアクセスや, データの分布に関する強い仮定なしには不可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T04:47:44Z)
• Enhancing Contrastive Learning with Noise-Guided Attack: Towards Continual Relation Extraction in the Wild [57.468184469589744]
  我々はtextbfContrative textbfLearning(NaCL) における textbfNoise-guided textbf attack という名前の耐雑音性コントラストフレームワークを開発する。 直接雑音除去や到達不能雑音回避と比較して,攻撃により与えられた雑音ラベルに一致するように特徴空間を変更する。
  論文  参考訳（メタデータ） (2023-05-11T18:48:18Z)
• Logistic-Normal Likelihoods for Heteroscedastic Label Noise [6.947162493996924]
  回帰における異方性ラベルノイズを推定する自然な方法は、観測された(潜在的にノイズの多い)ターゲットを正規分布からサンプルとしてモデル化することである。 我々は、同じ望ましい損失減衰特性を持つ分類に対する、この単純で確率的なアプローチの拡張を提案する。
  論文  参考訳（メタデータ） (2023-04-06T03:45:07Z)
• Do We Need to Penalize Variance of Losses for Learning with Label Noise? [91.38888889609002]
  ノイズラベルを用いた学習では,差分を増大させる必要がある。 ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。 実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-01-30T06:19:08Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Robustness and reliability when training with noisy labels [12.688634089849023]
  教師付き学習のためのデータの遅延は、コストと時間を要する可能性がある。 ディープニューラルネットワークは、ランダムラベルの適合、正規化、ロバストな損失関数の使用を証明している。
  論文  参考訳（メタデータ） (2021-10-07T10:30:20Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Improving Face Recognition by Clustering Unlabeled Faces in the Wild [77.48677160252198]
  極値理論に基づく新しいアイデンティティ分離法を提案する。 重なり合うラベルノイズによる問題を大幅に低減する。 制御された設定と実際の設定の両方の実験は、我々のメソッドの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2020-07-14T12:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。