論文の概要: Quality and Efficiency of Manual Annotation: Pre-annotation Bias

• arxiv url: http://arxiv.org/abs/2306.09307v1
• Date: Thu, 15 Jun 2023 17:41:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 13:25:23.607810
• Title: Quality and Efficiency of Manual Annotation: Pre-annotation Bias
• Title（参考訳）: 手書きアノテーションの品質と効率性:事前アノテーションバイアス
• Authors: Marie Mikulov\'a, Milan Straka, Jan \v{S}t\v{e}p\'anek, Barbora \v{S}t\v{e}p\'ankov\'a, Jan Haji\v{c}
• Abstract要約: この実験の目的は、事前アノテーションを用いた場合の最終的なアノテーション品質を判断することである。 実験により、事前アノテーションはより高速な手動構文アノテーションのための効率的なツールであることが確認された。
• 参考スコア（独自算出の注目度）: 1.949293198748152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents an analysis of annotation using an automatic pre-annotation for a mid-level annotation complexity task -- dependency syntax annotation. It compares the annotation efforts made by annotators using a pre-annotated version (with a high-accuracy parser) and those made by fully manual annotation. The aim of the experiment is to judge the final annotation quality when pre-annotation is used. In addition, it evaluates the effect of automatic linguistically-based (rule-formulated) checks and another annotation on the same data available to the annotators, and their influence on annotation quality and efficiency. The experiment confirmed that the pre-annotation is an efficient tool for faster manual syntactic annotation which increases the consistency of the resulting annotation without reducing its quality.
• Abstract（参考訳）: 本稿では,中レベルのアノテーション複雑性タスク -- 依存性構文アノテーションのための自動事前アノテーションを用いたアノテーションの分析を行う。 注釈付きバージョン(高精度パーサ付き)と完全手動アノテーションによるアノテーション処理を比較した。 実験の目的は,前アノテーションを使用する際の最終的なアノテーション品質を判断することである。 さらに, 自動的言語ベース(ルール形式)チェックと, 注釈者が利用可能な同一データに対する他のアノテーションの効果と, それらのアノテーション品質および効率への影響について評価した。 実験の結果,事前アノテーションはより高速な手動構文アノテーションのための効率的なツールであることを確認した。

関連論文リスト

• On-the-Fly Point Annotation for Fast Medical Video Labeling [1.890063512530524]
  医学研究において、ディープラーニングモデルは高品質な注釈付きデータに依存している。 2つのコーナーを調整する必要があるため、プロセスは本質的にフレーム単位で行われる。 そこで本研究では,ライブビデオアノテーションのオンザフライ方式を提案し,アノテーションの効率を向上させる。
  論文  参考訳（メタデータ） (2024-04-22T16:59:43Z)
• IDEAL: Influence-Driven Selective Annotations Empower In-Context Learners in Large Language Models [66.32043210237768]
  本稿では,影響駆動型選択的アノテーション手法を提案する。 アノテーションのコストを最小限に抑えつつ、コンテキスト内サンプルの品質を向上させることを目的としている。 様々なベンチマークで提案手法の優位性を確認する実験を行った。
  論文  参考訳（メタデータ） (2023-10-16T22:53:54Z)
• Deep Active Learning with Noisy Oracle in Object Detection [5.5165579223151795]
  ディープオブジェクト検出のためのラベルレビューモジュールを含む複合能動学習フレームワークを提案する。 アクティブなデータセットで部分的にノイズの多いアノテーションを修正するためにアノテーションの予算の一部を利用することで、モデルの性能が早期に向上することを示します。 本実験では,同一のアノテーション予算でラベルレビューを組み込むことで,最大4.5mAPポイントのオブジェクト検出性能の向上を実現した。
  論文  参考訳（メタデータ） (2023-09-30T13:28:35Z)
• Data-efficient Active Learning for Structured Prediction with Partial Annotation and Self-Training [16.740101757982828]
  本稿では,能動的学習を用いた構造化ラベル空間のアノテーションコストを削減できる実用的手法を提案する。 提案手法は部分アノテーションを利用して,アノテーションの最も情報性の高い部分構造のみを選択することで,ラベル付けコストを削減する。 我々はまた、自己学習を利用して、現在のモデルの自動予測を、注釈のないサブ構造のための擬似ラベルとして組み込む。
  論文  参考訳（メタデータ） (2023-05-22T01:58:42Z)
• SciAnnotate: A Tool for Integrating Weak Labeling Sources for Sequence Labeling [55.71459234749639]
  SciAnnotateはSciAnnotateという名前のテキストアノテーションのためのウェブベースのツールで、科学的なアノテーションツールを指す。 我々のツールは、弱いラベルを作成するために複数のユーザフレンドリーなインターフェースを提供する。 本研究では,Bertifying Conditional Hidden Markov Modelを用いて,ツールが生成する弱いラベルを識別する手法を提案する。
  論文  参考訳（メタデータ） (2022-08-07T19:18:13Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• Pre-trained Language Models as Re-Annotators [3.193067591317475]
  事前学習言語モデルから意味センシティブなアノテーション表現を取得する方法について検討する。 アノテーション修正のためのクロスバリデーションに基づく事前学習言語モデルを微調整する。 関係抽出における再アノテーションについて検討し、手動で改訂したデータセットRe-DocREDを作成する。
  論文  参考訳（メタデータ） (2022-05-11T09:28:23Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• Assisted Text Annotation Using Active Learning to Achieve High Quality with Little Effort [9.379650501033465]
  研究者は、手動の注釈だけで、大規模で高品質な注釈付きデータセットを作成できるツールを提案する。 我々は、アクティブラーニング(AL)アプローチと事前訓練された言語モデルを組み合わせて、アノテーションカテゴリを半自動で識別する。 予備的な結果から,ALを用いることで,複雑なフレームや微妙なフレームを正しく分類するアノテーションの数が大幅に削減されることがわかった。
  論文  参考訳（メタデータ） (2021-12-15T13:14:58Z)
• Annotation Curricula to Implicitly Train Non-Expert Annotators [56.67768938052715]
  自発的な研究は、しばしば、アノテータがタスク、そのアノテーションスキーム、およびデータドメインに精通することを要求する。 これは最初は圧倒的であり、精神的に課税され、結果として生じるアノテーションにエラーを誘導する。 暗黙的にアノテータを訓練する新しい手法であるアノテーションキュリキュラを提案する。
  論文  参考訳（メタデータ） (2021-06-04T09:48:28Z)
• Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
  我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。 提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。 既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-04-28T17:17:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。