論文の概要: Towards Long-term Annotators: A Supervised Label Aggregation Baseline

• arxiv url: http://arxiv.org/abs/2311.14709v1
• Date: Wed, 15 Nov 2023 08:25:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-03 13:56:29.036339
• Title: Towards Long-term Annotators: A Supervised Label Aggregation Baseline
• Title（参考訳）: 長期アノテータに向けて:教師付きラベルアグリゲーションベースライン
• Authors: Haoyu Liu, Fei Wang, Minmin Lin, Runze Wu, Renyu Zhu, Shiwei Zhao, Kai Wang, Tangjie Lv, Changjie Fan
• Abstract要約: 本稿では,推論中にモデルを更新する必要のない新しいラベル集約手法を提案する。 我々は3種類の入力特徴と単純なニューラルネットワーク構造を設計し、全ての情報をマージし、その後に集約されたラベルを生成する。 22の公開データセットと11のベースラインメソッドで比較実験を行った結果,SuperLAは推論性能において,これらのベースラインをすべて上回るだけでなく,効率面でも大きなメリットがあることがわかった。
• 参考スコア（独自算出の注目度）: 36.92505787162792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relying on crowdsourced workers, data crowdsourcing platforms are able to efficiently provide vast amounts of labeled data. Due to the variability in the annotation quality of crowd workers, modern techniques resort to redundant annotations and subsequent label aggregation to infer true labels. However, these methods require model updating during the inference, posing challenges in real-world implementation. Meanwhile, in recent years, many data labeling tasks have begun to require skilled and experienced annotators, leading to an increasing demand for long-term annotators. These annotators could leave substantial historical annotation records on the crowdsourcing platforms, which can benefit label aggregation, but are ignored by previous works. Hereby, in this paper, we propose a novel label aggregation technique, which does not need any model updating during inference and can extensively explore the historical annotation records. We call it SuperLA, a Supervised Label Aggregation method. Inside this model, we design three types of input features and a straightforward neural network structure to merge all the information together and subsequently produce aggregated labels. Based on comparison experiments conducted on 22 public datasets and 11 baseline methods, we find that SuperLA not only outperforms all those baselines in inference performance but also offers significant advantages in terms of efficiency.
• Abstract（参考訳）: データクラウドソーシングプラットフォームは、クラウドソースされた労働者を頼りに、大量のラベル付きデータを効率的に提供することができる。 群衆労働者のアノテーション品質の変動により、現代の技術は冗長なアノテーションとその後のラベル集約を利用して真のラベルを推測する。 しかし、これらのメソッドは推論中にモデル更新を必要とし、現実の実装における課題を提起する。 一方で、近年、多くのデータラベリングタスクでは熟練したアノテータや経験豊富なアノテータが必要となり、長期的なアノテータの需要が高まっている。 これらの注釈はクラウドソーシングプラットフォームに重要な歴史的な記録を残し、ラベルアグリゲーションの恩恵を受けることができるが、以前の作品では無視されている。 そこで本稿では,推論中にモデル更新を必要とせず,歴史記録を広範囲に探索できる新しいラベル集約手法を提案する。 superlaは教師付きラベルアグリゲーション手法である。 本モデルでは,3種類の入力特徴と簡単なニューラルネットワーク構造を設計し,全ての情報をマージし,次いで集約ラベルを生成する。 22の公開データセットと11のベースラインメソッドで比較実験を行った結果,SuperLAは推論性能において,これらのベースラインをすべて上回るだけでなく,効率面でも大きなメリットがあることがわかった。

関連論文リスト

• Scribbles for All: Benchmarking Scribble Supervised Segmentation Across Datasets [51.74296438621836]
  Scribbles for Allは、スクリブルラベルに基づいて訓練されたセマンティックセグメンテーションのためのラベルおよびトレーニングデータ生成アルゴリズムである。 弱い監督の源泉としてのスクリブルの主な制限は、スクリブルセグメンテーションのための挑戦的なデータセットの欠如である。 Scribbles for Allは、いくつかの人気のあるセグメンテーションデータセットのスクリブルラベルを提供し、密集したアノテーションを持つデータセットのスクリブルラベルを自動的に生成するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2024-08-22T15:29:08Z)
• Drawing the Same Bounding Box Twice? Coping Noisy Annotations in Object Detection with Repeated Labels [6.872072177648135]
  そこで本研究では,基礎的真理推定手法に適合する新しい局所化アルゴリズムを提案する。 また,本アルゴリズムは,TexBiGデータセット上でのトレーニングにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-18T13:08:44Z)
• Robust Assignment of Labels for Active Learning with Sparse and Noisy Annotations [0.17188280334580192]
  監視された分類アルゴリズムは、世界中の多くの現実の問題を解決するために使用される。 残念なことに、多くのタスクに対して良質なアノテーションを取得することは、実際に行うには不可能か、あるいはコストがかかりすぎます。 サンプル空間のラベルのない部分を利用する2つの新しいアノテーション統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-25T19:40:41Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• Binary Classification with Positive Labeling Sources [71.37692084951355]
  WEAPOは、負のラベル付け源を使わずにトレーニングラベルを作成するための、シンプルで競争力のあるWS手法である。 We show WEAPO achieve the highest averaged performance on 10 benchmark datasets。
  論文  参考訳（メタデータ） (2022-08-02T19:32:08Z)
• Eliciting and Learning with Soft Labels from Every Annotator [31.10635260890126]
  個々のアノテータからソフトラベルを効率よく抽出することに注力する。 ラベルによる学習は,従来の手法と同等のモデル性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2022-07-02T12:03:00Z)
• Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
  監督されたディープラーニングは、大量の注釈付き例に依存している。 典型的な方法は、複数のノイズアノテータから学習することである。 本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T16:57:00Z)
• Adversarial Knowledge Transfer from Unlabeled Data [62.97253639100014]
  本稿では,インターネット規模の未ラベルデータから知識を伝達し,分類器の性能を向上させるための新しいAdversarial Knowledge Transferフレームワークを提案する。 我々の手法の重要な新しい側面は、ラベル付けされていないソースデータは、ラベル付けされたターゲットデータと異なるクラスであることができ、個別のプリテキストタスクを定義する必要がないことである。
  論文  参考訳（メタデータ） (2020-08-13T08:04:27Z)
• GraftNet: An Engineering Implementation of CNN for Fine-grained Multi-label Task [17.885793498743723]
  GraftNetは木のようなカスタマイズ可能なネットワークで、トランクにはジェネリックな特徴抽出のための動的グラフが事前訓練されている。 本研究では,人間の属性認識タスクにおいて,細粒度多ラベル分類の優れた性能を示す。
  論文  参考訳（メタデータ） (2020-04-27T11:08:28Z)
• LEAN-LIFE: A Label-Efficient Annotation Framework Towards Learning from Explanation [40.72453599376169]
  LEAN-LIFEは、シーケンスラベリングと分類タスクのためのWebベースのラベル有効アノテーションフレームワークである。 我々のフレームワークは、この強化された監視技術を利用した最初のものであり、3つの重要なタスクに役立ちます。
  論文  参考訳（メタデータ） (2020-04-16T07:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。