論文の概要: Data Annotation as Measurement

• arxiv url: http://arxiv.org/abs/2608.07297v1
• Date: Fri, 07 Aug 2026 14:51:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.535618
• Title: Data Annotation as Measurement
• Title（参考訳）: 測定としてのデータアノテーション
• Abstract要約: データアノテーションは測定問題として理解されるべきである。 他の測定方法と同様に、アノテーションは概念を定義し、測定器を通してそれを運用し、その結果の信頼性と妥当性を評価する必要がある。
• 参考スコア（独自算出の注目度）: 5.058544031889297
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern AI systems depend on annotated data, but annotation is rarely treated as the act of measurement that it is. Instead, annotation quality is commonly reduced to agreement: if multiple annotators assign the same annotation to a data instance, the annotations are taken to be high-quality. Yet agreement does not establish whether annotations validly capture the underlying concept they are meant to represent. In this paper, we argue that data annotation should be understood as a measurement problem. Like other forms of measurement, annotation requires defining a concept, operationalizing it through an instrument, applying that instrument, and evaluating the reliability and validity of the resulting measurements. Drawing on a literature review of annotation quality research (N=132) and semi-structured interviews with annotation team members (N=10), we develop a framework for diagnosing and correcting annotation issues. First, we map key decision points across annotation processes - including task design, annotator management, quality assessment, quality improvement, and adjudication - that shape annotation outcomes. Second, we identify five distinct sources of annotation issues: error, ambiguity, impossibility, subjectivity, and annotator identity. Annotation problems that appear similar at the level of outcomes often require different process-level interventions based on their sources. Finally, we translate measurement theory into practical guidance for annotation teams, showing how assessments of reliability and validity can move beyond agreement alone. By reframing annotation as measurement, we offer a conceptual foundation for improving the quality of annotated data used in AI research and practice.
• Abstract（参考訳）: 現代のAIシステムは注釈付きデータに依存しているが、アノテーションはそれを測定する行為として扱われることは滅多にない。 複数のアノテータが同じアノテーションをデータインスタンスに割り当てると、アノテーションは高品質になる。 しかし、アノテーションが表現しようとする基本的な概念を効果的に捉えているかどうか、合意は定まっていない。 本稿では,データアノテーションは測定問題として理解されるべきである,と論じる。 他の測定方法と同様に、アノテーションは概念を定義し、それを機器を通して運用し、測定結果の信頼性と妥当性を評価する必要がある。 アノテーション品質研究の文献レビュー (N=132) と、アノテーションチームメンバーとの半構造化インタビュー (N=10) に基づいて、アノテーション問題を診断・修正するためのフレームワークを開発する。 まず、タスク設計、アノテーション管理、品質評価、品質改善、調整など、アノテーションのプロセスで重要な決定ポイントをマップし、アノテーションの結果を形作る。 次に, 誤り, 曖昧性, 不合理性, 主観性, アノテーションのアイデンティティの5つの異なる原因を同定する。 結果のレベルで類似しているように見えるアノテーション問題は、ソースに基づいて異なるプロセスレベルの介入を必要とすることが多い。 最後に、測定理論をアノテーションチームのための実践的なガイダンスに変換し、信頼性と妥当性の評価が合意のみを超えてどのように動くかを示す。 アノテーションを測定として再定義することで、AI研究や実践で使用される注釈付きデータの質を向上させるための概念的基盤を提供する。

関連論文リスト

• ReasonScaffold: A Scaffolded Reasoning-based Annotation Protocol for Human-AI Co-Annotation [2.5819252531158683]
  textbfReasonScaffoldは、予測ラベルを保ちながらLLM生成の説明を公開するための足場付き推論アノテーションプロトコルである。 本研究では,アノテート精度を評価するよりも,人間のアノテート行動が制御された環境でのアノテート行動にどのように影響するかを検討する。 本研究の結果から, 推論への露出は, 一致度の増加と最小限の修正と結びついており, 広範囲な変化を招くことなく, 曖昧な症例の解決に有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-03-22T07:14:27Z)
• Enhancing LLM-Based Data Annotation with Error Decomposition [6.6544828402388445]
  大規模言語モデルは、データアノテーションタスクのための人間のコーディングに代わるスケーラブルな代替手段を提供する。 主観的アノテーションタスクのパフォーマンスは、一貫性が低く、エラーを起こしやすい。 モデル駆動不正確性からタスク独立性の曖昧さを分離するために,ヒューマン・イン・ザ・ループのステップを取り入れた診断評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2026-01-17T05:43:17Z)
• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Deep Active Learning with Noisy Oracle in Object Detection [5.5165579223151795]
  ディープオブジェクト検出のためのラベルレビューモジュールを含む複合能動学習フレームワークを提案する。 アクティブなデータセットで部分的にノイズの多いアノテーションを修正するためにアノテーションの予算の一部を利用することで、モデルの性能が早期に向上することを示します。 本実験では,同一のアノテーション予算でラベルレビューを組み込むことで,最大4.5mAPポイントのオブジェクト検出性能の向上を実現した。
  論文  参考訳（メタデータ） (2023-09-30T13:28:35Z)
• Analyzing Dataset Annotation Quality Management in the Wild [63.07224587146207]
  最先端モデルのトレーニングと評価に使用される一般的なデータセットでさえ、誤ったアノテーションやバイアス、アーティファクトの量は無視できない。 データセット作成プロジェクトに関するプラクティスやガイドラインは存在するが、品質管理の実施方法に関する大規模な分析はまだ行われていない。
  論文  参考訳（メタデータ） (2023-07-16T21:22:40Z)
• Quality and Efficiency of Manual Annotation: Pre-annotation Bias [1.949293198748152]
  この実験の目的は、事前アノテーションを用いた場合の最終的なアノテーション品質を判断することである。 実験により、事前アノテーションはより高速な手動構文アノテーションのための効率的なツールであることが確認された。
  論文  参考訳（メタデータ） (2023-06-15T17:41:14Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• Pre-trained Language Models as Re-Annotators [3.193067591317475]
  事前学習言語モデルから意味センシティブなアノテーション表現を取得する方法について検討する。 アノテーション修正のためのクロスバリデーションに基づく事前学習言語モデルを微調整する。 関係抽出における再アノテーションについて検討し、手動で改訂したデータセットRe-DocREDを作成する。
  論文  参考訳（メタデータ） (2022-05-11T09:28:23Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• Annotation Curricula to Implicitly Train Non-Expert Annotators [56.67768938052715]
  自発的な研究は、しばしば、アノテータがタスク、そのアノテーションスキーム、およびデータドメインに精通することを要求する。 これは最初は圧倒的であり、精神的に課税され、結果として生じるアノテーションにエラーを誘導する。 暗黙的にアノテータを訓練する新しい手法であるアノテーションキュリキュラを提案する。
  論文  参考訳（メタデータ） (2021-06-04T09:48:28Z)
• Uncertainty-Aware Annotation Protocol to Evaluate Deformable Registration Algorithms [3.2845753359072125]
  変形性登録における金規格構築のための原則的な戦略を紹介します。 i) 従来のアノテーションとの冗長性を考慮して、次に注釈をつけるための最も有益な場所を反復的に提案する; (ii) それぞれのアノテーションの空間的不確実性を考慮して、従来のポイントワイズアノテーションを拡張する; (iii) 自然に変形可能な登録アルゴリズムを評価するための新しい戦略を提供する。
  論文  参考訳（メタデータ） (2021-04-02T19:31:19Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。