論文の概要: Annotation Errors and NER: A Study with OntoNotes 5.0

• arxiv url: http://arxiv.org/abs/2406.19172v1
• Date: Thu, 27 Jun 2024 13:48:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 14:08:07.729277
• Title: Annotation Errors and NER: A Study with OntoNotes 5.0
• Title（参考訳）: アノテーションエラーとNER: OntoNotes 5.0による研究
• Authors: Gabriel Bernier-Colborne, Sowmya Vajjala,
• Abstract要約: 英語NERのためのOntoNotes 5.0コーパスにおいて,アノテーションエラーを検出するための3つの簡単な手法を用いる。 提案手法は, 列車/デブ/テストデータ中の文の10%を補正した。 3つのNERライブラリを使用して、オリジナルのデータセットと再注釈付きデータセットでトレーニングされたモデルをトレーニング、評価、比較しました。
• 参考スコア（独自算出の注目度）: 2.8544822698499255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Named Entity Recognition (NER) is a well-studied problem in NLP. However, there is much less focus on studying NER datasets, compared to developing new NER models. In this paper, we employed three simple techniques to detect annotation errors in the OntoNotes 5.0 corpus for English NER, which is the largest available NER corpus for English. Our techniques corrected ~10% of the sentences in train/dev/test data. In terms of entity mentions, we corrected the span and/or type of ~8% of mentions in the dataset, while adding/deleting/splitting/merging a few more. These are large numbers of changes, considering the size of OntoNotes. We used three NER libraries to train, evaluate and compare the models trained with the original and the re-annotated datasets, which showed an average improvement of 1.23% in overall F-scores, with large (>10%) improvements for some of the entity types. While our annotation error detection methods are not exhaustive and there is some manual annotation effort involved, they are largely language agnostic and can be employed with other NER datasets, and other sequence labelling tasks.
• Abstract（参考訳）: 名前付きエンティティ認識(NER)は、NLPにおいてよく研究されている問題である。 しかし、新しいNERモデルと比べて、NERデータセットの研究に注力する割合ははるかに少ない。 そこで本研究では,英語のNERコーパスであるOntoNotes 5.0コーパスにおいて,アノテーションエラーを検出するための3つの簡単な手法を用いた。 提案手法は, 列車/デブ/テストデータ中の文の約10%を補正した。 エンティティの参照に関しては、データセット内の参照のスパンと/またはタイプを約8%修正し、追加/削除/スプリッティング/マージを行いました。 OntoNotesのサイズを考えると、これらは多くの変更がある。 我々は3つのNERライブラリを使用して、オリジナルと再アノテーションされたデータセットでトレーニングされたモデルをトレーニングし、評価し、比較した。 我々のアノテーションエラー検出手法は徹底的ではなく、手作業によるアノテーションの取り組みもいくつかあるが、それらは言語に依存しないものであり、他のNERデータセットや他のシーケンスラベリングタスクと組み合わせることができる。

関連論文リスト

• ELLEN: Extremely Lightly Supervised Learning For Efficient Named Entity Recognition [18.884124657093405]
  ELENは,微調整言語モデルと言語規則をブレンドした,シンプルで完全にモジュール化されたニューロシンボリックな手法である。 ELLENはCoNLL-2003データセット上で非常に強力なパフォーマンスを実現している。 ゼロショット設定では、ELENは金のデータに基づいてトレーニングされた強力で完全な教師付きモデルの75%以上の性能を達成する。
  論文  参考訳（メタデータ） (2024-03-26T05:11:51Z)
• NERetrieve: Dataset for Next Generation Named Entity Recognition and Retrieval [49.827932299460514]
  我々は、大きな言語モデルによって提供される能力は、NER研究の終わりではなく、むしろエキサイティングな始まりであると主張する。 我々は、NERタスクの3つの変種と、それらをサポートするデータセットを示す。 500のエンティティタイプをカバーする400万段落の,大規模で銀の注釈付きコーパスを提供する。
  論文  参考訳（メタデータ） (2023-10-22T12:23:00Z)
• A Multilingual Evaluation of NER Robustness to Adversarial Inputs [0.0]
  言語モデルの敵対的評価は典型的には英語のみに焦点をあてる。 本稿では,入力中の小さな摂動に対する頑健性の観点から,名前付きエンティティ認識(NER)の多言語評価を行った。 既存のNERモデルに適応するために,新たなNERモデルをトレーニングするための強化トレーニングデータとして,生成した逆数データセットの一部を用いて既存のNERモデルを改善することが可能か,あるいは微調整データとして検討した。
  論文  参考訳（メタデータ） (2023-05-30T10:50:49Z)
• An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition [55.080101447586635]
  スコア行列の空間関係をモデル化するために,コナールニューラルネットワーク(CNN)を提案する。 提案手法は, 事前学習したエンコーダと同一の手法である。
  論文  参考訳（メタデータ） (2022-08-09T04:33:46Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• Efficient Few-Shot Fine-Tuning for Opinion Summarization [83.76460801568092]
  抽象的な要約モデルは、典型的には大量のジェネリックテキストで事前訓練され、数万から数十万の注釈付きサンプルで微調整される。 アダプタをベースとした数ショット法では,ドメイン内の知識を容易に保存できることを示す。 この自己教師型アダプタの事前トレーニングにより,AmazonとYelpのデータセット上の2.0および1.3ROUGE-Lポイントの要約品質が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-04T16:38:37Z)
• HiNER: A Large Hindi Named Entity Recognition Dataset [29.300418937509317]
  本稿では,11個のタグを付加した109,146文と2,220,856トークンを含む標準Hindi NERデータセットをリリースする。 データセット内のタグセットの統計は、特に人、場所、組織といった著名なクラスにおいて、タグ単位の分布が健全であることを示している。 我々のデータセットは、すべてのタグで重み付けされたF1スコア88.78、タグセットが崩壊したときに92.22を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2022-04-28T19:14:21Z)
• Few-NERD: A Few-Shot Named Entity Recognition Dataset [35.669024917327825]
  提案するFew-NERDは,8大きめの粒度と66大きめの粒度を持つ大規模人手用少数ショットNERデータセットである。 Few-NERDはウィキペディアの188,238文で構成され、4,601,160語が含まれ、それぞれが文脈または2段階のエンティティタイプの一部として注釈付けされている。
  論文  参考訳（メタデータ） (2021-05-16T15:53:17Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
  我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。 提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。 既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-04-28T17:17:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。