論文の概要: Robust Testing for Deep Learning using Human Label Noise

• arxiv url: http://arxiv.org/abs/2412.00244v1
• Date: Fri, 29 Nov 2024 20:31:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:36.726124
• Title: Robust Testing for Deep Learning using Human Label Noise
• Title（参考訳）: ラベルノイズを用いた深層学習のためのロバストテスト
• Authors: Gordon Lim, Stefan Larson, Kevin Leach,
• Abstract要約: ディープラーニング(DL)システムでは、トレーニングデータセットのラベルノイズはしばしばモデルパフォーマンスを劣化させる。 伝統的に、これらの手法は合成ラベルノイズを用いてテストされ、そこでは基底の真理ラベルをランダムに反転させる。 本稿では,人間のようなラベルノイズをシミュレートする特徴依存ノイズを生成するクラスタベースノイズ(CBN)を提案する。
• 参考スコア（独自算出の注目度）: 5.9848836847249185
• License:
• Abstract: In deep learning (DL) systems, label noise in training datasets often degrades model performance, as models may learn incorrect patterns from mislabeled data. The area of Learning with Noisy Labels (LNL) has introduced methods to effectively train DL models in the presence of noisily-labeled datasets. Traditionally, these methods are tested using synthetic label noise, where ground truth labels are randomly (and automatically) flipped. However, recent findings highlight that models perform substantially worse under human label noise than synthetic label noise, indicating a need for more realistic test scenarios that reflect noise introduced due to imperfect human labeling. This underscores the need for generating realistic noisy labels that simulate human label noise, enabling rigorous testing of deep neural networks without the need to collect new human-labeled datasets. To address this gap, we present Cluster-Based Noise (CBN), a method for generating feature-dependent noise that simulates human-like label noise. Using insights from our case study of label memorization in the CIFAR-10N dataset, we design CBN to create more realistic tests for evaluating LNL methods. Our experiments demonstrate that current LNL methods perform worse when tested using CBN, highlighting its use as a rigorous approach to testing neural networks. Next, we propose Soft Neighbor Label Sampling (SNLS), a method designed to handle CBN, demonstrating its improvement over existing techniques in tackling this more challenging type of noise.
• Abstract（参考訳）: ディープラーニング(DL)システムでは、トレーニングデータセットのラベルノイズは、間違ったラベル付きデータから間違ったパターンを学ぶことができるため、モデルのパフォーマンスを劣化させることが多い。 雑音ラベル付き学習(LNL)の領域では、ノイズラベル付きデータセットの存在下で、DLモデルを効果的にトレーニングする方法が導入されている。 伝統的に、これらの手法は合成ラベルノイズを用いてテストされ、そこでは基底の真理ラベルがランダムに(そして自動的に)フリップされる。 しかし、近年の研究では、人工ラベルノイズよりも人間のラベルノイズ下でのモデルの性能が著しく低下していることが示されており、不完全なラベルによるノイズを反映するより現実的なテストシナリオの必要性が示唆されている。 これは、人間のラベルノイズをシミュレートする現実的なノイズラベルを生成する必要性を強調しており、新しい人間のラベル付きデータセットを収集することなく、ディープニューラルネットワークの厳密なテストを可能にする。 このギャップに対処するために、人間に似たラベルノイズをシミュレートする特徴依存ノイズを生成するためのクラスタベースノイズ(CBN)を提案する。 CIFAR-10Nデータセットのラベル記憶に関するケーススタディから得られた知見を用いて、我々はCBNを設計し、LNL法を評価するためのより現実的なテストを作成する。 我々の実験では、現在のLNL法はCBNを用いてテストするとより良くなり、ニューラルネットワークをテストするための厳密なアプローチとしての使用が強調されている。 次に,CBN を扱うための手法である Soft Neighbor Label Sampling (SNLS) を提案する。

関連論文リスト

• NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition [3.726602636064681]
  そこで本研究では,実雑音がシミュレーションノイズよりもはるかに難易度が高いことを示す。 ノイズロスト学習の最先端モデルが理論的に達成可能な上限よりもはるかに低くなることを示す。
  論文  参考訳（メタデータ） (2024-05-13T10:20:31Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Instance-dependent Noisy-label Learning with Graphical Model Based Noise-rate Estimation [16.283722126438125]
  ラベルノイズ学習(LNL)は、クリーンでノイズの多いラベルサンプルを区別するためにサンプル選択段階を組み込む。 このようなカリキュラムは、トレーニングセットの実際のラベルノイズ率を考慮していないため、準最適である。 本稿では,ほとんどのSOTA (State-of-the-art) LNL法と容易に統合できる新しいノイズレート推定法を用いて,この問題に対処する。
  論文  参考訳（メタデータ） (2023-05-31T01:46:14Z)
• BadLabel: A Robust Perspective on Evaluating and Enhancing Label-noise Learning [113.8799653759137]
  我々はBadLabelと呼ばれる新しいラベルノイズタイプを導入し、既存のLNLアルゴリズムの性能を大幅に劣化させることができる。 BadLabelは、標準分類に対するラベルフライング攻撃に基づいて開発されている。 そこで本稿では, 各エポックにおいてラベルを逆向きに摂動させ, クリーンかつノイズの多いラベルの損失値を再び識別可能にする頑健なLNL法を提案する。
  論文  参考訳（メタデータ） (2023-05-28T06:26:23Z)
• NoisywikiHow: A Benchmark for Learning with Real-world Noisy Labels in Natural Language Processing [26.678589684142548]
  実世界の大規模なデータセットには、必然的にラベルノイズが伴う。 ディープモデルはノイズの多いラベルに徐々に適合し、一般化性能を低下させる。 ラベルノイズの影響を軽減するため,雑音ラベル法(LNL)による学習は,より優れた一般化性能を実現するために設計されている。
  論文  参考訳（メタデータ） (2023-05-18T05:01:04Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• Is BERT Robust to Label Noise? A Study on Learning with Noisy Labels in Text Classification [23.554544399110508]
  トレーニングデータの誤りラベルは、人間のアノテータがミスをしたときや、弱いまたは遠い監視によってデータが生成されるときに発生する。 複雑なノイズハンドリング技術は、モデルがこのラベルノイズに収まらないようにする必要があることが示されている。 BERTのような現代のNLPモデルを用いたテキスト分類タスクにおいて、様々なノイズタイプに対して、既存のノイズハンドリング手法は必ずしも性能を向上せず、さらに劣化する可能性があることを示す。
  論文  参考訳（メタデータ） (2022-04-20T10:24:19Z)
• Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations [54.400167806154535]
  ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。 本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。 実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
  論文  参考訳（メタデータ） (2021-10-22T22:42:11Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。