論文の概要: Towards Robustness to Label Noise in Text Classification via Noise
Modeling
- arxiv url: http://arxiv.org/abs/2101.11214v1
- Date: Wed, 27 Jan 2021 05:41:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-01 19:29:54.586463
- Title: Towards Robustness to Label Noise in Text Classification via Noise
Modeling
- Title(参考訳): 騒音モデリングによるテキスト分類におけるラベルノイズのロバスト性
- Authors: Siddhant Garg, Goutham Ramakrishnan, Varun Thumbe
- Abstract要約: NLPの大規模なデータセットは、誤った自動および人間のアノテーション手順のために、ノイズの多いラベルに悩まされる。
本稿では,ラベルノイズを用いたテキスト分類の問題について検討し,分類器上での補助雑音モデルを用いてこのノイズを捉えることを目的とする。
- 参考スコア(独自算出の注目度): 7.863638253070439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large datasets in NLP suffer from noisy labels, due to erroneous automatic
and human annotation procedures. We study the problem of text classification
with label noise, and aim to capture this noise through an auxiliary noise
model over the classifier. We first assign a probability score to each training
sample of having a noisy label, through a beta mixture model fitted on the
losses at an early epoch of training. Then, we use this score to selectively
guide the learning of the noise model and classifier. Our empirical evaluation
on two text classification tasks shows that our approach can improve over the
baseline accuracy, and prevent over-fitting to the noise.
- Abstract(参考訳): NLPの大規模なデータセットは、誤った自動および人間のアノテーション手順のために、ノイズの多いラベルに悩まされる。
ラベル雑音を伴うテキスト分類の問題点について検討し,この雑音を分類器上の補助雑音モデルを用いて捉えることを目的としている。
まず,学習開始直後の損失に適応したベータ混合モデルを用いて,ノイズラベルを持つ各トレーニングサンプルに確率スコアを割り当てる。
そして,このスコアを用いて,雑音モデルと分類器の学習を選択的に指導する。
2つのテキスト分類タスクについて経験的評価を行った結果,本手法はベースラインの精度を向上し,ノイズに対する過剰フィットを防止できることがわかった。
関連論文リスト
- Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳(メタデータ) (2023-10-16T14:43:27Z) - Rethinking Noisy Label Learning in Real-world Annotation Scenarios from
the Noise-type Perspective [38.24239397999152]
本稿では,雑音ラベル学習のためのサンプル選択に基づく新しい手法であるProto-semiを提案する。
Proto-semiは、すべてのサンプルをウォームアップを通じて信頼性と信頼できないデータセットに分割する。
自信のあるデータセットを活用することで、プロトタイプベクターがクラス特性をキャプチャするために構築される。
実世界の注釈付きデータセットの実証評価は、ノイズラベルから学習する問題の処理において、プロトセミの頑健さを裏付けるものである。
論文 参考訳(メタデータ) (2023-07-28T10:57:38Z) - Noisy-label Learning with Sample Selection based on Noise Rate Estimate [30.922188228545906]
ノイズラベルは、ノイズラベルのトレーニングサンプルをオーバーフィットさせるディープモデルの容量が高いため、ディープラーニングでは困難である。
本稿では,最新技術(SOTA)に適応可能な新しい雑音ラベル学習グラフィカルモデルを提案する。
論文 参考訳(メタデータ) (2023-05-31T01:46:14Z) - Learning from Noisy Labels with Coarse-to-Fine Sample Credibility
Modeling [22.62790706276081]
ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。
従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。
本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
論文 参考訳(メタデータ) (2022-08-23T02:06:38Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳(メタデータ) (2022-08-05T14:47:22Z) - Is BERT Robust to Label Noise? A Study on Learning with Noisy Labels in
Text Classification [23.554544399110508]
トレーニングデータの誤りラベルは、人間のアノテータがミスをしたときや、弱いまたは遠い監視によってデータが生成されるときに発生する。
複雑なノイズハンドリング技術は、モデルがこのラベルノイズに収まらないようにする必要があることが示されている。
BERTのような現代のNLPモデルを用いたテキスト分類タスクにおいて、様々なノイズタイプに対して、既存のノイズハンドリング手法は必ずしも性能を向上せず、さらに劣化する可能性があることを示す。
論文 参考訳(メタデータ) (2022-04-20T10:24:19Z) - S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。
提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。
提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文 参考訳(メタデータ) (2021-11-22T15:49:20Z) - Training Classifiers that are Universally Robust to All Label Noise
Levels [91.13870793906968]
ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。
ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。
我々の枠組みは概して中~高騒音レベルにおいて優れています。
論文 参考訳(メタデータ) (2021-05-27T13:49:31Z) - A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。
人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
論文 参考訳(メタデータ) (2020-12-22T06:36:58Z) - Towards Noise-resistant Object Detection with Noisy Annotations [119.63458519946691]
ディープオブジェクト検出器の訓練には、正確なオブジェクトラベルとバウンディングボックス座標を持つ、相当量の人間の注釈画像が必要である。
ノイズの多いアノテーションはずっと簡単にアクセスできますが、学習には有害かもしれません。
ノイズにはラベルノイズとバウンディングボックスノイズが混在している。
論文 参考訳(メタデータ) (2020-03-03T01:32:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。