論文の概要: Error-Type-Aware Loss Reweighting for Robust Named Entity Recognition with Noisy LLM Labels

• arxiv url: http://arxiv.org/abs/2608.30827v1
• Date: Mon, 31 Aug 2026 14:05:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.431808
• Title: Error-Type-Aware Loss Reweighting for Robust Named Entity Recognition with Noisy LLM Labels
• Title（参考訳）: 雑音LLMラベルを用いたロバスト固有認識のための誤り型損失重み付け
• Authors: Elena Merdjanovska, Jonas Golde, Alan Akbik,
• Abstract要約: 名前付きエンティティ認識のための誤り型認識損失再重み付けを提案する。 我々のアプローチは単純で効率的であり、追加のトレーニングリソースを必要としない。Wikigoldのノイズレベルが最大4.6ポイントで、データセットレベルのノイズレベルが15%から40%である場合、F1を0.8～2.0ポイント改善する。
• 参考スコア（独自算出の注目度）: 11.267113571494392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly used to annotate datasets for training smaller, task-specialized models such as named entity recognition. While this method yields effective models, it assumes that the synthetic dataset is correctly annotated. In this work, we find that (i) current fine-tuning processes simply ignore LLM-introduced annotation noise, resulting in degraded performance and (ii) existing noise-robust losses are not transferable to sequence labeling because annotation noise in named entity recognition is heterogeneous: for example, missing mentions and type errors affect the training signal in different ways. Treating all noisy tokens equally in noise-robust losses and applying a single reweighing criterion for all may therefore remove useful supervision or reinforce incorrect labels. To address this limitation, we propose error-type-aware loss reweighting for NER, which introduces separate reweighing rules for different types of potentially erroneous tokens. Our approach is simple and efficient, does not require additional training resources, and improves F1 by 0.8 - 2.0 percentage points on dataset-level average for noise levels between 15% and 40%, with a maximum improvement of 4.6 percentage points with 24.1% noise on Wikigold.
• Abstract（参考訳）: 大規模言語モデルは、名前付きエンティティ認識のような、より小さくタスクに特化されたモデルをトレーニングするために、データセットに注釈を付けるためにますます使われています。 この手法は有効なモデルを生成するが、合成データセットが正しく注釈付けされていると仮定する。 この作品では、私たちはそれを見つけます。 (i)現在の微調整プロセスは、LPM導入したアノテーションノイズを単に無視するだけで、性能が劣化し、性能が低下する。 (II)既存のノイズロスは、名前付きエンティティ認識におけるアノテーションノイズが異種であるため、シーケンスラベリングには転送できない。 ノイズロスの損失に対して等しくノイズの多いトークンを処理し、すべてに対して単一のリウィーディング基準を適用することで、有用な監視や不正なラベルの強化が取り除かれる。 この制限に対処するために,NERの誤り型認識損失再重み付けを提案する。 我々のアプローチは単純で効率的であり、追加のトレーニングリソースを必要としない。Wikigoldのノイズレベルが最大4.6ポイントで、データセットレベルのノイズレベルが15%から40%である場合、F1を0.8～2.0ポイント改善する。

関連論文リスト

• Detect and Correct: A Selective Noise Correction Method for Learning with Noisy Labels [14.577138753507203]
  ノイズラベル(noisy labels)としても知られる偽アノテートサンプルは、ディープラーニングモデルの性能を著しく損なう可能性がある。 ノイズラベルを用いた学習には,大域的雑音推定とデータフィルタリングの2つのアプローチがある。 本手法は, 損失分布に基づいて, うるさいサンプルを同定する。 次に、ノイズとクリーンなサンプルを分離する選択プロセスを適用し、ノイズ遷移行列を学習してノイズのあるサンプルの損失を補正し、クリーンなデータは影響を受けないままにしておく。
  論文  参考訳（メタデータ） (2025-05-19T16:49:27Z)
• Learning with Open-world Noisy Data via Class-independent Margin in Dual Representation Space [25.472718931422307]
  オープンワールドノイズを頑健に扱える新しい二空間共同学習法を提案する。 CIFAR80Nの平均精度は4.55%、AUROCは6.17%向上した。
  論文  参考訳（メタデータ） (2025-01-19T14:09:04Z)
• NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition [3.726602636064681]
  そこで本研究では,実雑音がシミュレーションノイズよりもはるかに難易度が高いことを示す。 ノイズロスト学習の最先端モデルが理論的に達成可能な上限よりもはるかに低くなることを示す。
  論文  参考訳（メタデータ） (2024-05-13T10:20:31Z)
• Label Noise: Correcting the Forward-Correction [0.0]
  ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 ラベルノイズによる過度適合に対処する手法を提案する。 本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
  論文  参考訳（メタデータ） (2023-07-24T19:41:19Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。