論文の概要: Label Noise: Correcting the Forward-Correction

• arxiv url: http://arxiv.org/abs/2307.13100v2
• Date: Thu, 22 Aug 2024 16:30:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 20:07:24.764102
• Title: Label Noise: Correcting the Forward-Correction
• Title（参考訳）: ラベルノイズ:前方補正
• Authors: William Toner, Amos Storkey,
• Abstract要約: ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 ラベルノイズによる過度適合に対処する手法を提案する。 本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training neural network classifiers on datasets with label noise poses a risk of overfitting them to the noisy labels. To address this issue, researchers have explored alternative loss functions that aim to be more robust. The `forward-correction' is a popular approach wherein the model outputs are noised before being evaluated against noisy data. When the true noise model is known, applying the forward-correction guarantees consistency of the learning algorithm. While providing some benefit, the correction is insufficient to prevent overfitting to finite noisy datasets. In this work, we propose an approach to tackling overfitting caused by label noise. We observe that the presence of label noise implies a lower bound on the noisy generalised risk. Motivated by this observation, we propose imposing a lower bound on the training loss to mitigate overfitting. Our main contribution is providing theoretical insights that allow us to approximate the lower bound given only an estimate of the average noise rate. We empirically demonstrate that using this bound significantly enhances robustness in various settings, with virtually no additional computational cost.
• Abstract（参考訳）: ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 この問題に対処するため、研究者らはより堅牢な代替の損失関数を研究してきた。 フォワード補正」は、ノイズの多いデータに対して評価される前に、モデル出力がノイズを受けるという一般的なアプローチである。 真のノイズモデルが知られている場合、前方補正を適用することで学習アルゴリズムの一貫性が保証される。 何らかの利点を提供する一方で、この補正は有限ノイズデータセットへの過度な適合を防ぐには不十分である。 本研究では,ラベルノイズによるオーバーフィッティングに対処する手法を提案する。 ラベルノイズの存在は、雑音の一般化リスクの低い境界を示唆している。 本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。 我々の主な貢献は、平均雑音率の見積だけで下界を近似できる理論的な洞察を提供することである。 このバウンダリを使用することで、様々な設定での堅牢性が著しく向上し、計算コストが実質的にゼロとなることを実証的に実証した。

関連論文リスト

• SoftPatch: Unsupervised Anomaly Detection with Noisy Data [67.38948127630644]
  本稿では,画像センサ異常検出におけるラベルレベルのノイズを初めて考察する。 本稿では,メモリベースの非教師付きAD手法であるSoftPatchを提案する。 既存の手法と比較して、SoftPatchは通常のデータの強力なモデリング能力を維持し、コアセットにおける過信問題を軽減する。
  論文  参考訳（メタデータ） (2024-03-21T08:49:34Z)
• Learning to Correct Noisy Labels for Fine-Grained Entity Typing via Co-Prediction Prompt Tuning [9.885278527023532]
  FETにおける雑音補正のためのコプレディション・プロンプト・チューニングを提案する。 ラベル付きラベルをリコールするために予測結果を統合し、区別されたマージンを用いて不正確なラベルを識別する。 広範に使われている3つのFETデータセットの実験結果から,我々のノイズ補正アプローチはトレーニングサンプルの品質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-10-23T06:04:07Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Is your noise correction noisy? PLS: Robustness to label noise with two stage detection [16.65296285599679]
  本報告では, ノイズが検出された場合に, ノイズの補正精度を向上させることを提案する。 多くの最先端コントリビューションでは、修正された擬似ラベルを推測する前にノイズサンプルを検出する2段階のアプローチが採用されている。 ノイズサンプルの擬似ラベルの正しさと強く相関する単純な測度である擬似ロスを提案する。
  論文  参考訳（メタデータ） (2022-10-10T11:32:28Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Robustness and reliability when training with noisy labels [12.688634089849023]
  教師付き学習のためのデータの遅延は、コストと時間を要する可能性がある。 ディープニューラルネットワークは、ランダムラベルの適合、正規化、ロバストな損失関数の使用を証明している。
  論文  参考訳（メタデータ） (2021-10-07T10:30:20Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Improving Face Recognition by Clustering Unlabeled Faces in the Wild [77.48677160252198]
  極値理論に基づく新しいアイデンティティ分離法を提案する。 重なり合うラベルノイズによる問題を大幅に低減する。 制御された設定と実際の設定の両方の実験は、我々のメソッドの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2020-07-14T12:26:50Z)
• NoiseRank: Unsupervised Label Noise Reduction with Dependence Models [11.08987870095179]
  マルコフランダム場(MRF)を用いた教師なしラベル雑音低減のためのノイズRankを提案する。 本研究では,データセットに誤ってラベル付けされたインスタンスの後方確率と,その推定確率に基づいてランク付けされたインスタンスを推定する依存性モデルを構築した。 NORankはFood101-N(20%ノイズ)の最先端分類を改善し、高雑音クローティング-1M(40%ノイズ)に有効である
  論文  参考訳（メタデータ） (2020-03-15T01:10:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。