論文の概要: Single versus Multiple Annotation for Named Entity Recognition of Mutations

• arxiv url: http://arxiv.org/abs/2101.07450v1
• Date: Tue, 19 Jan 2021 03:54:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 08:01:43.042667
• Title: Single versus Multiple Annotation for Named Entity Recognition of Mutations
• Title（参考訳）: 名前付きエンティティ認識のための単対複数アノテーション
• Authors: David Martinez Iraola and Antonio Jimeno Yepes
• Abstract要約: 我々は,複数のアノテータが必要かどうかを測定するために,1つのアノテータ対2のアノテータによる影響について論じる。 単一アノテータを使用する場合のパフォーマンス損失を評価すると、第2のアノテーションのためにトレーニングデータをサンプルするために異なる方法を適用する。 保持されたダブルアノテートデータを使用して、異なるタイプのランキングを持つ2つのシナリオを構築します。 i)誤ったトレーニングインスタンスを識別する能力、(ii)最先端技術におけるミューテーションNERのパフォーマンスについて、両方のアプローチを評価する。
• 参考スコア（独自算出の注目度）: 4.213427823201119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The focus of this paper is to address the knowledge acquisition bottleneck for Named Entity Recognition (NER) of mutations, by analysing different approaches to build manually-annotated data. We address first the impact of using a single annotator vs two annotators, in order to measure whether multiple annotators are required. Once we evaluate the performance loss when using a single annotator, we apply different methods to sample the training data for second annotation, aiming at improving the quality of the dataset without requiring a full pass. We use held-out double-annotated data to build two scenarios with different types of rankings: similarity-based and confidence based. We evaluate both approaches on: (i) their ability to identify training instances that are erroneous (cases where single-annotator labels differ from double-annotation after discussion), and (ii) on Mutation NER performance for state-of-the-art classifiers after integrating the fixes at different thresholds.
• Abstract（参考訳）: 本研究の目的は、手動で注釈付きデータを構築するための異なるアプローチを解析することにより、変異のNER(Named Entity Recognition)の知識獲得ボトルネックを解決することである。 まず,2つのアノテータに対して1つのアノテータを用いることで,複数のアノテータが必要かどうかを測定する。 1つのアノテータを使用する場合のパフォーマンス損失を評価すると、異なる方法を適用して第2のアノテーションのトレーニングデータをサンプリングし、フルパスを必要とせずにデータセットの品質を改善することを目指しています。 保持されたダブルアノテートデータを使用して、異なるタイプのランキングを持つ2つのシナリオを構築します。 i) 誤りであるトレーニングインスタンスを識別する能力(議論後の二重アノテーションとは異なる場合) および(ii) 修正を異なる閾値で統合した後の最先端の分類器に対するミューテーションNER性能について評価する。
• 全文 参考訳へのリンク

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切 の責任を負いません。