論文の概要: CleanCoNLL: A Nearly Noise-Free Named Entity Recognition Dataset
- arxiv url: http://arxiv.org/abs/2310.16225v1
- Date: Tue, 24 Oct 2023 22:34:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 17:48:06.721876
- Title: CleanCoNLL: A Nearly Noise-Free Named Entity Recognition Dataset
- Title（参考訳）: CleanCoNLL: ほとんどノイズのない名前付きエンティティ認識データセット
- Authors: Susanna R\"ucker, Alan Akbik
- Abstract要約: 英語のCoNLL-03における全ラベルの7.0%を補正する自動整合性チェックを補助する包括的ラバーリング手法を提案する。
実験結果から, 最先端の手法がF1スコア(97.1%)をはるかに上回っているだけでなく, アノテーションノイズによる誤りとして誤算された正確な予測のシェアが47%から6%に低下していることが判明した。
これは、我々の資源が最先端モデルによる残差を分析するのに適しており、理論上界が高資源であっても、粗粒NERがまだ未定であることを示唆している。
- 参考スコア（独自算出の注目度）: 3.3162484539136416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The CoNLL-03 corpus is arguably the most well-known and utilized benchmark
dataset for named entity recognition (NER). However, prior works found
significant numbers of annotation errors, incompleteness, and inconsistencies
in the data. This poses challenges to objectively comparing NER approaches and
analyzing their errors, as current state-of-the-art models achieve F1-scores
that are comparable to or even exceed the estimated noise level in CoNLL-03. To
address this issue, we present a comprehensive relabeling effort assisted by
automatic consistency checking that corrects 7.0% of all labels in the English
CoNLL-03. Our effort adds a layer of entity linking annotation both for better
explainability of NER labels and as additional safeguard of annotation quality.
Our experimental evaluation finds not only that state-of-the-art approaches
reach significantly higher F1-scores (97.1%) on our data, but crucially that
the share of correct predictions falsely counted as errors due to annotation
noise drops from 47% to 6%. This indicates that our resource is well suited to
analyze the remaining errors made by state-of-the-art models, and that the
theoretical upper bound even on high resource, coarse-grained NER is not yet
reached. To facilitate such analysis, we make CleanCoNLL publicly available to
the research community.
- Abstract（参考訳）: conll-03コーパスは、名前付きエンティティ認識(ner)のための最もよく知られているベンチマークデータセットである。
しかし、以前の研究では、データにかなりの数のアノテーションエラー、不完全性、不整合が見つかった。
これは、現在の最先端モデルは、CoNLL-03の推定ノイズレベルに匹敵する、あるいは超えるF1スコアを達成するため、NERアプローチを客観的に比較し、それらのエラーを分析するための課題となる。
この問題に対処するために,全ラベルの7.0%を英語のconll-03で訂正する自動一貫性チェックによる包括的relabelingの取り組みを提案する。
我々の取り組みは、NERラベルのより良い説明可能性とアノテーション品質のさらなる保護のためにエンティティリンクアノテーションのレイヤを追加します。
実験結果から, 最先端の手法がF1スコア(97.1%)をはるかに上回っているだけでなく, アノテーションノイズによる誤りとして誤算された正確な予測のシェアが47%から6%に低下していることがわかった。
このことは、我々の資源は最先端モデルによる残差を分析するのに適しており、理論上界は高資源でも粗粒NERに到達していないことを示している。
このような分析を容易にするため,研究コミュニティにCleanCoNLLを公開する。
関連論文リスト
- Label Convergence: Defining an Upper Performance Bound in Object Recognition through Contradictory Annotations [0.0]
矛盾するテストアノテーションの制約の下で達成可能な最高性能を記述するために,「ラベル収束」の概念を導入する。
ラベル収束は LVIS の場合 62.63-67.52 mAP@[0.5:0.95:0.05] であり、95% の信頼度を持つ。
LVISデータセットのラベル収束間隔の上端にある現在の最先端(SOTA)モデルでは、モデルキャパシティが現在のオブジェクト検出問題を解決するのに十分である、と結論付けている。
論文 参考訳（メタデータ） (2024-09-14T10:59:25Z) - CLEANANERCorp: Identifying and Correcting Incorrect Labels in the ANERcorp Dataset [0.0]
我々は、広く採用されているアラビアのNERベンチマークデータセット(ANERcorp)の1つを深く掘り下げた。
大量のアノテーションエラー、ラベルの欠如、一貫性がないことが分かりました。
我々はCLEANANERCorpというデータセットのよりクリーンなバージョンを提案する。
論文 参考訳（メタデータ） (2024-08-22T12:59:05Z) - Contrastive Error Attribution for Finetuned Language Models [35.80256755393739]
ノイズと誤記のデータは、自然言語生成(NLG)タスクにおける幻覚と不誠実なアウトプットの中核的な原因である。
望ましくないアウトプットにつながる低品質のトレーニングインスタンスを特定し、削除するフレームワークを導入します。
本研究では、勾配に基づく影響尺度のような既存の誤差追跡手法は、忠実度誤差を検出するために確実に機能しないことを示す。
論文 参考訳（メタデータ） (2022-12-21T02:28:07Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳（メタデータ） (2022-08-05T14:47:22Z) - Sparse Conditional Hidden Markov Model for Weakly Supervised Named
Entity Recognition [68.68300358332156]
雑音ラベリング機能を評価するために,スパース条件付き隠れマルコフモデル(Sparse-CHMM)を提案する。
Sparse-CHMMは、3段階のトレーニングパイプラインで教師なし学習によって最適化される。
5つの包括的なデータセットで平均F1スコアが3.01向上する。
論文 参考訳（メタデータ） (2022-05-27T20:47:30Z) - Named Entity Recognition with Small Strongly Labeled and Large Weakly
Labeled Data [37.980010197914105]
弱監視は、名前付きエンティティ認識(NER)など、多くの自然言語処理タスクにおいて有望な結果を示している。
本稿では,弱ラベル補完,雑音認識損失関数,強ラベル付きデータに対する最終微調整という,3つの重要な要素を持つ多段階計算フレームワークNEEDLEを提案する。
NEEDLEは、弱いラベルのノイズを効果的に抑制し、既存の手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-06-16T17:18:14Z) - Boosting Semi-Supervised Face Recognition with Noise Robustness [54.342992887966616]
本稿では,自動ラベルによるラベル雑音に対して頑健な半教師付き顔認識に対する効果的な解法を提案する。
そこで我々は,gnが強化するロバストな学習能力に基づく,ノイズロバスト学習ラベリング(nroll)という,半教師付き顔認識ソリューションを開発した。
論文 参考訳（メタデータ） (2021-05-10T14:43:11Z) - Re-TACRED: Addressing Shortcomings of the TACRED Dataset [5.820381428297218]
TACREDは、最大かつ最も広く使われている文レベルの関係抽出データセットの1つである。
このデータセットを用いて評価された提案モデルは、新しい最先端のパフォーマンスを一貫して設定する。
しかし、彼らはまだ大規模なテキストコーポラで外部の知識と教師なしの事前訓練を利用しながら大きなエラー率を示しています。
論文 参考訳（メタデータ） (2021-04-16T22:55:11Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z) - Improving Face Recognition by Clustering Unlabeled Faces in the Wild [77.48677160252198]
極値理論に基づく新しいアイデンティティ分離法を提案する。
重なり合うラベルノイズによる問題を大幅に低減する。
制御された設定と実際の設定の両方の実験は、我々のメソッドの一貫性のある改善を示している。
論文 参考訳（メタデータ） (2020-07-14T12:26:50Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳（メタデータ） (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。