論文の概要: Capturing Perspectives of Crowdsourced Annotators in Subjective Learning
Tasks
- arxiv url: http://arxiv.org/abs/2311.09743v1
- Date: Thu, 16 Nov 2023 10:18:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 15:09:09.097231
- Title: Capturing Perspectives of Crowdsourced Annotators in Subjective Learning
Tasks
- Title(参考訳): 主観的学習課題におけるクラウドソーシングアノテータの視点の把握
- Authors: Negar Mokhberian, Myrl G. Marmarelis, Frederic R. Hopp, Valerio
Basile, Fred Morstatter, Kristina Lerman
- Abstract要約: ほとんどの分類モデルでは、各データポイントに対して単一の真実ラベルを持つと仮定されている。
毒性の分類のような主観的なタスクは アナテーターの間で 真の不一致につながる
主観的分類タスクのためのテキスト用アノテーション認識表現(AART)を提案する。
- 参考スコア(独自算出の注目度): 9.654024757018984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In most classification models, it has been assumed to have a single ground
truth label for each data point. However, subjective tasks like toxicity
classification can lead to genuine disagreement among annotators. In these
cases aggregating labels will result in biased labeling and, consequently,
biased models that can overlook minority opinions. Previous studies have shed
light on the pitfalls of label aggregation and have introduced a handful of
practical approaches to tackle this issue. Recently proposed multi-annotator
models, which predict labels individually per annotator, are vulnerable to
under-determination for annotators with small samples. This problem is
especially the case in crowd-sourced datasets. In this work, we propose
Annotator Aware Representations for Texts (AART) for subjective classification
tasks. We will show the improvement of our method on metrics that assess the
performance on capturing annotators' perspectives. Additionally, our approach
involves learning representations for annotators, allowing for an exploration
of the captured annotation behaviors.
- Abstract(参考訳): ほとんどの分類モデルでは、各データポイントに対して単一の真実ラベルを持つと仮定されている。
しかし、毒性分類のような主観的なタスクは、アノテーターの間で真の不一致を引き起こす可能性がある。
このような場合、ラベルを集約するとバイアス付きラベルが生まれ、その結果、少数派の意見を見渡すことができるバイアス付きモデルが生まれる。
これまでの研究はラベルアグリゲーションの落とし穴に光を当て、この問題に取り組むための実践的なアプローチをいくつか導入してきた。
近年,アノテータ毎にラベルを個別に予測するマルチアノテータモデルが,小さなサンプルを持つアノテータのアンダー決定に脆弱である。
この問題は特にクラウドソースのデータセットで問題となる。
本研究では、主観的分類タスクのためのテキスト用アノテーション認識表現(AART)を提案する。
注記者の視点を捉えた上での性能を評価する指標について,提案手法の改善を示す。
さらに、アノテーションの表現を学習し、キャプチャしたアノテーションの振る舞いを探索する手法である。
関連論文リスト
- Virtual Category Learning: A Semi-Supervised Learning Method for Dense
Prediction with Extremely Limited Labels [63.16824565919966]
本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。
仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。
私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
論文 参考訳(メタデータ) (2023-12-02T16:23:52Z) - Robust Assignment of Labels for Active Learning with Sparse and Noisy
Annotations [0.17188280334580192]
監視された分類アルゴリズムは、世界中の多くの現実の問題を解決するために使用される。
残念なことに、多くのタスクに対して良質なアノテーションを取得することは、実際に行うには不可能か、あるいはコストがかかりすぎます。
サンプル空間のラベルのない部分を利用する2つの新しいアノテーション統一アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-25T19:40:41Z) - SeedBERT: Recovering Annotator Rating Distributions from an Aggregated
Label [43.23903984174963]
単一ラベルからアノテータ評価分布を復元するSeedBERTを提案する。
人間の評価は,SeedBERTの注意機構がアノテータの不一致の原因と一致していることを示している。
論文 参考訳(メタデータ) (2022-11-23T18:35:15Z) - Label-enhanced Prototypical Network with Contrastive Learning for
Multi-label Few-shot Aspect Category Detection [17.228616743739412]
マルチラベルアスペクトカテゴリ検出は、与えられたレビュー文に複数のアスペクトカテゴリを含むことを可能にする。
複数ラベルの複数ショットのアスペクトカテゴリー検出のための新しいラベル強化ネットワーク(LPN)を提案する。
論文 参考訳(メタデータ) (2022-06-14T02:37:44Z) - Disjoint Contrastive Regression Learning for Multi-Sourced Annotations [10.159313152511919]
大規模データセットはディープラーニングモデルの開発に重要である。
複数のアノテータを使用して、データの異なるサブセットをラベル付けすることができる。
異なるアノテータ間の矛盾とバイアスはモデルトレーニングに有害である。
論文 参考訳(メタデータ) (2021-12-31T12:39:04Z) - Learning to Detect Instance-level Salient Objects Using Complementary
Image Labels [55.049347205603304]
本報告では,本問題に対する第1の弱教師付きアプローチを提案する。
本稿では,候補対象の特定にクラス整合性情報を活用するSaliency Detection Branch,オブジェクト境界をデライン化するためにクラス整合性情報を利用するBundary Detection Branch,サブティナイズ情報を用いたCentroid Detection Branchを提案する。
論文 参考訳(メタデータ) (2021-11-19T10:15:22Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - On Releasing Annotator-Level Labels and Information in Datasets [6.546195629698355]
ラベルアグリゲーションは,個人的視点とグループ的視点の表現バイアスをもたらす可能性があることを示す。
下流のユースケースに対するデータセットの有用性と透明性を高めるための推奨事項を提案する。
論文 参考訳(メタデータ) (2021-10-12T02:35:45Z) - Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。
これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文 参考訳(メタデータ) (2021-06-20T17:34:55Z) - One-bit Supervision for Image Classification [121.87598671087494]
1ビットの監視は、不完全なアノテーションから学ぶための新しい設定である。
負ラベル抑圧を既成の半教師付き学習アルゴリズムに組み込んだ多段階学習パラダイムを提案する。
論文 参考訳(メタデータ) (2020-09-14T03:06:23Z) - Automatically Discovering and Learning New Visual Categories with
Ranking Statistics [145.89790963544314]
我々は,他のクラスをラベル付けした画像コレクションにおいて,新しいクラスを発見する問題に対処する。
汎用クラスタリングモデルを学び、後者を用いて、非競合データ中の新しいクラスを識別する。
我々は,標準分類ベンチマークに対するアプローチと,新しいカテゴリー発見法の性能を,有意なマージンで評価した。
論文 参考訳(メタデータ) (2020-02-13T18:53:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。