論文の概要: Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks

• arxiv url: http://arxiv.org/abs/2212.09503v1
• Date: Thu, 15 Dec 2022 20:12:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 15:00:36.328512
• Title: Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks
• Title（参考訳）: 複合構造・多目的・自由テキストアノテーションタスク間のアノテータ合意の測定
• Authors: Alexander Braylan, Omar Alonso, Matthew Lease
• Abstract要約: 品質保証のための重要な指標は、IAA(Inter-annotator Agreement)である。 単純な分類的および順序的なラベリングタスクには対策があるが、より複雑なラベリングタスクを考える作業はほとんどない。 クリッペンドルフのαは、より単純なラベリングタスクでよく用いられるが、より広い適用性を持つ距離ベースの定式化を持つ。
• 参考スコア（独自算出の注目度）: 79.24863171717972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When annotators label data, a key metric for quality assurance is inter-annotator agreement (IAA): the extent to which annotators agree on their labels. Though many IAA measures exist for simple categorical and ordinal labeling tasks, relatively little work has considered more complex labeling tasks, such as structured, multi-object, and free-text annotations. Krippendorff's alpha, best known for use with simpler labeling tasks, does have a distance-based formulation with broader applicability, but little work has studied its efficacy and consistency across complex annotation tasks. We investigate the design and evaluation of IAA measures for complex annotation tasks, with evaluation spanning seven diverse tasks: image bounding boxes, image keypoints, text sequence tagging, ranked lists, free text translations, numeric vectors, and syntax trees. We identify the difficulty of interpretability and the complexity of choosing a distance function as key obstacles in applying Krippendorff's alpha generally across these tasks. We propose two novel, more interpretable measures, showing they yield more consistent IAA measures across tasks and annotation distance functions.
• Abstract（参考訳）: アノテータがデータをラベルする場合、品質保証のための重要な指標は、アノテータ間合意(iaa:inter-annotator agreement)である。 単純な分類的および順序的なラベル付けタスクには多くのIAA測度が存在するが、構造化、多目的、自由テキストアノテーションといったより複雑なラベル付けタスクは比較的少ない。 krippendorff の alpha はより単純なラベリングタスクでよく知られており、より広い適用性を持つ距離ベースの定式化を持っているが、複雑なアノテーションタスクにおけるその効果と一貫性についてはほとんど研究されていない。 画像境界ボックス, 画像キーポイント, テキストシーケンスタグ付け, ランキングリスト, 自由テキスト翻訳, 数値ベクトル, 構文木という7つのタスクにまたがる複雑なアノテーションタスクに対するIAA測度の設計と評価について検討する。 一般にこれらのタスクに対してkrippendorff's alphaを適用する際に,解釈可能性の難しさと距離関数の選択の複雑さを重要な障害として認識する。 本稿では,タスクやアノテーション距離関数にまたがって,より一貫したIAA尺度が得られることを示す。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• A General Model for Aggregating Annotations Across Simple, Complex, and Multi-Object Annotation Tasks [51.14185612418977]
  ラベルの品質を改善するための戦略は、複数のアノテータに同じ項目にラベルを付け、ラベルを集約するように求めることである。 特定のタスクに対して様々なbespokeモデルが提案されているが、様々な複雑なタスクを一般化するアグリゲーションメソッドを導入するのはこれが初めてである。 本論では,3つの新たな研究課題について検討し,今後の課題を概説する。
  論文  参考訳（メタデータ） (2023-12-20T21:28:35Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• PIZZA: A new benchmark for complex end-to-end task-oriented parsing [3.5106870325869886]
  本稿では,ピザとドリンクの注文を解析するための新しいデータセットを提案する。 本研究では,セク2セクNGの異なるフレーバーを含む,タスク指向構文解析のためのディープラーニング手法の評価を行う。
  論文  参考訳（メタデータ） (2022-12-01T04:20:07Z)
• Frustratingly Easy Label Projection for Cross-lingual Transfer [25.398772204761215]
  いくつかの試みでは、簡単なマーク-then-translate法を用いて、共同で翻訳と投影を行っている。 両手法の有効性と限界を評価するために,57言語および3つのタスク(QA,NER,イベント抽出)にまたがる実証的研究を行った。 EasyProjectと呼ばれる最適化された Mark-then-translate は、多くの言語に簡単に適用でき、驚くほどうまく機能し、より複雑な単語アライメントベースの手法よりも優れています。
  論文  参考訳（メタデータ） (2022-11-28T18:11:48Z)
• Pseudo-Labels Are All You Need [3.52359746858894]
  我々は,テキスト複雑度DEチャレンジ2022に応募する。 目標は、レベルBのドイツ語学習者のドイツ語文の複雑さを予測することである。 擬似ラベルに基づくアプローチは印象的な結果を与えるが、特定のタスクの調整はほとんど必要としない。
  論文  参考訳（メタデータ） (2022-08-19T09:52:41Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)
• Interaction Matching for Long-Tail Multi-Label Classification [57.262792333593644]
  既存のマルチラベル分類モデルにおいて,制約に対処するためのエレガントで効果的なアプローチを提案する。 ソフトなn-gram相互作用マッチングを実行することで、ラベルと自然言語記述をマッチングする。
  論文  参考訳（メタデータ） (2020-05-18T15:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。