論文の概要: A General Model for Aggregating Annotations Across Simple, Complex, and Multi-Object Annotation Tasks

• arxiv url: http://arxiv.org/abs/2312.13437v1
• Date: Wed, 20 Dec 2023 21:28:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 16:39:40.081558
• Title: A General Model for Aggregating Annotations Across Simple, Complex, and Multi-Object Annotation Tasks
• Title（参考訳）: 単純・複雑・多目的アノテーションタスクにまたがってアノテーションを集約する汎用モデル
• Authors: Alexander Braylan, Madalyn Marabella, Omar Alonso, Matthew Lease
• Abstract要約: ラベルの品質を改善するための戦略は、複数のアノテータに同じ項目にラベルを付け、ラベルを集約するように求めることである。 特定のタスクに対して様々なbespokeモデルが提案されているが、様々な複雑なタスクを一般化するアグリゲーションメソッドを導入するのはこれが初めてである。 本論では,3つの新たな研究課題について検討し,今後の課題を概説する。
• 参考スコア（独自算出の注目度）: 51.14185612418977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human annotations are vital to supervised learning, yet annotators often disagree on the correct label, especially as annotation tasks increase in complexity. A strategy to improve label quality is to ask multiple annotators to label the same item and aggregate their labels. Many aggregation models have been proposed for categorical or numerical annotation tasks, but far less work has considered more complex annotation tasks involving open-ended, multivariate, or structured responses. While a variety of bespoke models have been proposed for specific tasks, our work is the first to introduce aggregation methods that generalize across many diverse complex tasks, including sequence labeling, translation, syntactic parsing, ranking, bounding boxes, and keypoints. This generality is achieved by devising a task-agnostic method to model distances between labels rather than the labels themselves. This article extends our prior work with investigation of three new research questions. First, how do complex annotation properties impact aggregation accuracy? Second, how should a task owner navigate the many modeling choices to maximize aggregation accuracy? Finally, what diagnoses can verify that aggregation models are specified correctly for the given data? To understand how various factors impact accuracy and to inform model selection, we conduct simulation studies and experiments on real, complex datasets. Regarding testing, we introduce unit tests for aggregation models and present a suite of such tests to ensure that a given model is not mis-specified and exhibits expected behavior. Beyond investigating these research questions above, we discuss the foundational concept of annotation complexity, present a new aggregation model as a bridge between traditional models and our own, and contribute a new semi-supervised learning method for complex label aggregation that outperforms prior work.
• Abstract（参考訳）: ヒューマンアノテーションは教師付き学習には不可欠であるが、アノテーションタスクの複雑さが増すため、注釈者は正しいラベルについてしばしば同意しない。 ラベルの品質を改善する戦略は、複数のアノテーションに同じアイテムにラベルを付けて、ラベルを集約するように要求することです。 多くのアグリゲーションモデルが分類的あるいは数値的なアノテーションタスクのために提案されているが、より複雑なアノテーションタスクは、オープンエンド、マルチ変数、構造化された応答を含む。 特定のタスクに対して様々なbespokeモデルが提案されているが、我々の研究は、シーケンスラベリング、翻訳、構文解析、ランキング、バウンディングボックス、キーポイントなど、様々な複雑なタスクを一般化するアグリゲーションメソッドを導入する最初のものである。 この一般化は、ラベル自体よりもラベル間の距離をモデル化するタスク非依存の手法を考案することで達成される。 本論では,3つの新たな研究課題について検討する。 まず、複雑なアノテーションプロパティが集約精度にどのように影響するか。 第二に、タスクオーナは、アグリゲーションの精度を最大化するために、多くのモデリング選択をいかにナビゲートすべきか? 最後に、アグリゲーションモデルが与えられたデータに対して正しく指定されていることを診断できるものは何か? 様々な要因が精度にどのように影響するかを理解し,モデル選択に通知するために,実データを用いたシミュレーション研究と実験を行う。 テストに関して、アグリゲーションモデルのユニットテストを導入し、与えられたモデルが誤って特定されず、期待される振る舞いを示すために、それらのテストスイートを提供する。 上記の研究の他に、アノテーションの複雑さの基礎概念を考察し、従来のモデルと私たち自身の橋渡しとして新しいアグリゲーションモデルを提示し、事前の作業より優れた複雑なラベルアグリゲーションのための新しい半教師付き学習方法を提案する。

関連論文リスト

• LaSagnA: Language-based Segmentation Assistant for Complex Queries [39.620806493454616]
  視覚のための大規模言語モデル(vLLM)は、バウンディングボックスやマスクを含む知覚結果を生成する。 本研究では,これらの問題の主な原因が,学習クエリの複雑さの不足であることを認めた。 本稿では,提案フォーマットの直接統合による課題を効果的に解決するための3つの新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:40:45Z)
• Meta Operator for Complex Query Answering on Knowledge Graphs [58.340159346749964]
  我々は、異なる複雑なクエリタイプではなく、異なる論理演算子型が一般化性を向上させる鍵であると主張する。 本稿では,メタ演算子を限られたデータで学習し,様々な複雑なクエリの演算子のインスタンスに適応するメタ学習アルゴリズムを提案する。 実験結果から,メタオペレータの学習は,従来のCQAモデルやメタCQAモデルよりも効果的であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T08:54:25Z)
• ACTOR: Active Learning with Annotator-specific Classification Heads to Embrace Human Label Variation [35.10805667891489]
  積極的学習は、アノテーションのコスト削減戦略として、不一致から学ぶという文脈で完全には研究されていない。 アクティブな学習環境では、不確実性推定の観点から、マルチヘッドモデルの方がシングルヘッドモデルよりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-23T14:26:43Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Association Graph Learning for Multi-Task Classification with Category Shifts [68.58829338426712]
  関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。 我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。 我々の手法は代表的基準よりも一貫して性能が良い。
  論文  参考訳（メタデータ） (2022-10-10T12:37:41Z)
• Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
  最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。 我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。 特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。 一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
  論文  参考訳（メタデータ） (2022-04-06T11:01:08Z)
• Fuzzy Simplicial Networks: A Topology-Inspired Model to Improve Task Generalization in Few-shot Learning [1.0062040918634414]
  少ないショット学習アルゴリズムは、限られたデータで新しいタスクをうまく一般化するように設計されている。 本稿では,Fizzy Simplicial Networks (FSN) と呼ばれる,トポロジから構築したモデルを用いて,限られたデータから各クラスをより柔軟に表現する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-23T17:01:09Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)
• Joint Multi-Dimensional Model for Global and Time-Series Annotations [48.159050222769494]
  クラウドソーシングは、ラベルのないデータインスタンスのアノテーションを収集する一般的なアプローチである。 その中には、複数のデータインスタンスから大量のアノテーションを集め、多くの場合、訓練されていないアノテータを各データインスタンスに集め、それらを組み合わせて基礎的な真実を見積もる。 しかし、ほとんどのアノテーション融合スキームはこの側面を無視し、各次元を別々にモデル化する。 本稿では,多次元アノテーション融合の生成モデルを提案する。
  論文  参考訳（メタデータ） (2020-05-06T20:08:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。