論文の概要: Utilizing supervised models to infer consensus labels and their quality
from data with multiple annotators
- arxiv url: http://arxiv.org/abs/2210.06812v1
- Date: Thu, 13 Oct 2022 07:54:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 15:15:38.811393
- Title: Utilizing supervised models to infer consensus labels and their quality
from data with multiple annotators
- Title（参考訳）: マルチアノテータを用いたデータからコンセンサスラベルとその品質を推定する教師付きモデルの利用
- Authors: Hui Wen Goh, Ulyana Tkachenko, Jonas Mueller
- Abstract要約: 分類のための実世界のデータは、しばしば複数のアノテータによってラベル付けされる。
このようなデータを推定するための簡単なアプローチであるCROWDLABを紹介します。
提案手法は,(1)-(3)に対して,多くの代替アルゴリズムよりも優れた推定値を提供する。
- 参考スコア（独自算出の注目度）: 16.79939549201032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world data for classification is often labeled by multiple annotators.
For analyzing such data, we introduce CROWDLAB, a straightforward approach to
estimate: (1) A consensus label for each example that aggregates the individual
annotations (more accurately than aggregation via majority-vote or other
algorithms used in crowdsourcing); (2) A confidence score for how likely each
consensus label is correct (via well-calibrated estimates that account for the
number of annotations for each example and their agreement,
prediction-confidence from a trained classifier, and trustworthiness of each
annotator vs. the classifier); (3) A rating for each annotator quantifying the
overall correctness of their labels. While many algorithms have been proposed
to estimate related quantities in crowdsourcing, these often rely on
sophisticated generative models with iterative inference schemes, whereas
CROWDLAB is based on simple weighted ensembling. Many algorithms also rely
solely on annotator statistics, ignoring the features of the examples from
which the annotations derive. CROWDLAB in contrast utilizes any classifier
model trained on these features, which can generalize between examples with
similar features. In evaluations on real-world multi-annotator image data, our
proposed method provides superior estimates for (1)-(3) than many alternative
algorithms.
- Abstract（参考訳）: 分類のための実世界のデータは、しばしば複数の注釈によってラベル付けされる。
For analyzing such data, we introduce CROWDLAB, a straightforward approach to estimate: (1) A consensus label for each example that aggregates the individual annotations (more accurately than aggregation via majority-vote or other algorithms used in crowdsourcing); (2) A confidence score for how likely each consensus label is correct (via well-calibrated estimates that account for the number of annotations for each example and their agreement, prediction-confidence from a trained classifier, and trustworthiness of each annotator vs. the classifier); (3) A rating for each annotator quantifying the overall correctness of their labels.
クラウドソーシングにおける関連する量を推定するために多くのアルゴリズムが提案されているが、これらは反復推論スキームを持つ洗練された生成モデルに依存することが多い。
多くのアルゴリズムはまた、アノテーションが導出する例の特徴を無視して、アノテーション統計のみに依存する。
対照的にCROWDLABはこれらの特徴に基づいて訓練された任意の分類器モデルを使用し、類似した特徴を持つ例間で一般化することができる。
実世界のマルチアノテータ画像データの評価において,提案手法は,多くの代替アルゴリズムよりも,(1)-(3)の優れた推定値を提供する。
関連論文リスト
- Dynamic Correlation Learning and Regularization for Multi-Label Confidence Calibration [60.95748658638956]
本稿では,多ラベルシナリオにおける信頼度を適切に評価することを目的としたマルチラベル信頼性タスクを提案する。
既存のシングルラベルキャリブレーション手法では、セマンティックな混乱に対処するために欠かせないカテゴリ相関を考慮できない。
本稿では,多粒度セマンティック相関を利用した動的相関学習と正規化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-09T13:26:21Z) - Memory Consistency Guided Divide-and-Conquer Learning for Generalized
Category Discovery [56.172872410834664]
一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。
メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。
本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-24T09:39:45Z) - Crowd-Certain: Label Aggregation in Crowdsourced and Ensemble Learning
Classification [0.0]
クラウドソースおよびアンサンブル学習分類タスクにおけるラベルアグリゲーションのための新しいアプローチであるCrowd-Certainを紹介する。
提案手法は,アノテータと訓練された分類器の整合性を利用して,各アノテータの信頼性スコアを決定する。
我々は10の異なるデータセットにまたがる10の既存手法に対するアプローチを広範囲に評価し、それぞれに異なる数のアノテータをラベル付けした。
論文 参考訳（メタデータ） (2023-10-25T01:58:37Z) - ACTOR: Active Learning with Annotator-specific Classification Heads to
Embrace Human Label Variation [35.10805667891489]
積極的学習は、アノテーションのコスト削減戦略として、不一致から学ぶという文脈で完全には研究されていない。
アクティブな学習環境では、不確実性推定の観点から、マルチヘッドモデルの方がシングルヘッドモデルよりもはるかに優れていることを示す。
論文 参考訳（メタデータ） (2023-10-23T14:26:43Z) - CEREAL: Few-Sample Clustering Evaluation [4.569028973407756]
限られたラベルでクラスタリング品質を推定する未解決の問題に焦点をあてる。
本稿では,少数のクラスタリング評価のための総合的なフレームワークCEREALを紹介する。
その結果,CEREALはサンプリング基準値と比較して絶対誤差曲線下での面積を最大57%削減できることがわかった。
論文 参考訳（メタデータ） (2022-09-30T19:52:41Z) - Evolving Multi-Label Fuzzy Classifier [5.53329677986653]
マルチラベル分類は、同時に複数のクラスに1つのサンプルを割り当てるという問題に対処するために、機械学習コミュニティで多くの注目を集めている。
本稿では,新たなマルチラベルサンプルをインクリメンタルかつシングルパスで自己適応・自己展開可能な多ラベルファジィ分類器(EFC-ML)を提案する。
論文 参考訳（メタデータ） (2022-03-29T08:01:03Z) - Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
監督されたディープラーニングは、大量の注釈付き例に依存している。
典型的な方法は、複数のノイズアノテータから学習することである。
本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
論文 参考訳（メタデータ） (2022-03-08T16:57:00Z) - Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。
合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文 参考訳（メタデータ） (2022-02-04T15:46:27Z) - Visualizing Classifier Adjacency Relations: A Case Study in Speaker
Verification and Voice Anti-Spoofing [72.4445825335561]
任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。
ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。
提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
論文 参考訳（メタデータ） (2021-06-11T13:03:33Z) - Single versus Multiple Annotation for Named Entity Recognition of
Mutations [4.213427823201119]
我々は,複数のアノテータが必要かどうかを測定するために,1つのアノテータ対2のアノテータによる影響について論じる。
単一アノテータを使用する場合のパフォーマンス損失を評価すると、第2のアノテーションのためにトレーニングデータをサンプルするために異なる方法を適用する。
保持されたダブルアノテートデータを使用して、異なるタイプのランキングを持つ2つのシナリオを構築します。
i)誤ったトレーニングインスタンスを識別する能力、(ii)最先端技術におけるミューテーションNERのパフォーマンスについて、両方のアプローチを評価する。
論文 参考訳（メタデータ） (2021-01-19T03:54:17Z) - Bayesian Semi-supervised Crowdsourcing [71.20185379303479]
クラウドソーシングは、大規模なデータセットを効率的にラベル付けし、さまざまな学習タスクを実行するための強力なパラダイムとして登場した。
この研究は、半スーパービジョンの2つの体制の下で、半教師付きクラウドソース分類を扱う。
論文 参考訳（メタデータ） (2020-12-20T23:18:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。