論文の概要: Loss Modeling for Multi-Annotator Datasets
- arxiv url: http://arxiv.org/abs/2311.00619v2
- Date: Thu, 16 Nov 2023 05:31:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 22:23:31.436589
- Title: Loss Modeling for Multi-Annotator Datasets
- Title(参考訳): マルチアノテータデータセットの損失モデリング
- Authors: Uthman Jinadu, Jesse Annan, Shanshan Wen, Yi Ding
- Abstract要約: マルチタスク学習を利用して,多様な意見のより正確な表現を学習することを提案する。
新規な定式化を用いることで、アノテーションの同意と同意の相違をきれいに分離できることを示す。
この修正により、単一または複数アノテーション設定での予測性能が向上することを示す。
- 参考スコア(独自算出の注目度): 2.5832043241251337
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accounting for the opinions of all annotators of a dataset is critical for
fairness. However, when annotating large datasets, individual annotators will
frequently provide thousands of ratings which can lead to fatigue.
Additionally, these annotation processes can occur over multiple days which can
lead to an inaccurate representation of an annotator's opinion over time. To
combat this, we propose to learn a more accurate representation of diverse
opinions by utilizing multitask learning in conjunction with loss-based label
correction. We show that using our novel formulation, we can cleanly separate
agreeing and disagreeing annotations. Furthermore, we demonstrate that this
modification can improve prediction performance in a single or multi-annotator
setting. Lastly, we show that this method remains robust to additional label
noise that is applied to subjective data.
- Abstract(参考訳): データセットのすべてのアノテータの意見に対する説明は公平性に不可欠である。
しかし、大規模なデータセットをアノテートする場合、個々のアノテータは、疲労につながる可能性のある数千のレーティングを頻繁に提供します。
さらに、これらのアノテーションプロセスは数日にわたって起こり、時間とともにアノテーションの意見の不正確な表現につながる可能性がある。
そこで本研究では,マルチタスク学習と損失に基づくラベル修正を併用することで,多様な意見のより正確な表現を実現することを提案する。
新規な定式化を用いることで、アノテーションの同意と反対をきれいに分離できることを示す。
さらに,この修正により,単一または複数アノテーション設定での予測性能が向上することを示す。
最後に,本手法は主観的データに適用されるラベルノイズに対して頑健であることを示す。
関連論文リスト
- Capturing Perspectives of Crowdsourced Annotators in Subjective Learning
Tasks [9.654024757018984]
ほとんどの分類モデルでは、各データポイントに対して単一の真実ラベルを持つと仮定されている。
毒性の分類のような主観的なタスクは アナテーターの間で 真の不一致につながる
主観的分類タスクのためのテキスト用アノテーション認識表現(AART)を提案する。
論文 参考訳(メタデータ) (2023-11-16T10:18:32Z) - Improving a Named Entity Recognizer Trained on Noisy Data with a Few
Clean Instances [55.37242480995541]
クリーンなインスタンスの小さなセットから,ノイズの多いNERデータを誘導することで,ノイズを発生させる手法を提案する。
メインのNERモデルとともに、判別器モデルをトレーニングし、その出力を使用してサンプルの重み付けを校正します。
クラウドソーシングと遠隔監視データセットの結果から,提案手法は少ないガイダンスセットで継続的に性能を向上させることができることが示された。
論文 参考訳(メタデータ) (2023-10-25T17:23:37Z) - ACTOR: Active Learning with Annotator-specific Classification Heads to
Embrace Human Label Variation [35.10805667891489]
積極的学習は、アノテーションのコスト削減戦略として、不一致から学ぶという文脈で完全には研究されていない。
アクティブな学習環境では、不確実性推定の観点から、マルチヘッドモデルの方がシングルヘッドモデルよりもはるかに優れていることを示す。
論文 参考訳(メタデータ) (2023-10-23T14:26:43Z) - Unveiling the Multi-Annotation Process: Examining the Influence of
Annotation Quantity and Instance Difficulty on Model Performance [1.7343894615131372]
データセットがインスタンス毎にひとつのアノテーションから複数のアノテーションに拡張された場合、パフォーマンススコアがどのように変化するかを示す。
アノテーション予算の異なるデータセットを生成するための,新しいマルチアノテーションシミュレーションプロセスを提案する。
論文 参考訳(メタデータ) (2023-10-23T05:12:41Z) - Annotation Error Detection: Analyzing the Past and Present for a More
Coherent Future [63.99570204416711]
我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。
アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。
私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
論文 参考訳(メタデータ) (2022-06-05T22:31:45Z) - Efficient Few-Shot Fine-Tuning for Opinion Summarization [83.76460801568092]
抽象的な要約モデルは、典型的には大量のジェネリックテキストで事前訓練され、数万から数十万の注釈付きサンプルで微調整される。
アダプタをベースとした数ショット法では,ドメイン内の知識を容易に保存できることを示す。
この自己教師型アダプタの事前トレーニングにより,AmazonとYelpのデータセット上の2.0および1.3ROUGE-Lポイントの要約品質が向上することを示す。
論文 参考訳(メタデータ) (2022-05-04T16:38:37Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z) - Disjoint Contrastive Regression Learning for Multi-Sourced Annotations [10.159313152511919]
大規模データセットはディープラーニングモデルの開発に重要である。
複数のアノテータを使用して、データの異なるサブセットをラベル付けすることができる。
異なるアノテータ間の矛盾とバイアスはモデルトレーニングに有害である。
論文 参考訳(メタデータ) (2021-12-31T12:39:04Z) - Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。
近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。
知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
論文 参考訳(メタデータ) (2021-10-27T12:19:56Z) - Dealing with Disagreements: Looking Beyond the Majority Vote in
Subjective Annotations [6.546195629698355]
主観的タスクに対するマルチアノテータモデルの有効性について検討する。
このアプローチは、トレーニング前にラベルをアグリゲートするよりも、同じまたは良いパフォーマンスが得られることを示す。
提案手法は予測の不確かさを推定する手段も提供し,従来の手法よりもアノテーションの不一致との相関が良好であることを示す。
論文 参考訳(メタデータ) (2021-10-12T03:12:34Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳(メタデータ) (2020-12-16T04:09:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。