論文の概要: Dealing with Disagreements: Looking Beyond the Majority Vote in Subjective Annotations

• arxiv url: http://arxiv.org/abs/2110.05719v1
• Date: Tue, 12 Oct 2021 03:12:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 01:34:00.632962
• Title: Dealing with Disagreements: Looking Beyond the Majority Vote in Subjective Annotations
• Title（参考訳）: 不一致に対処する - 主観的アノテーションの多数決を超えて見る
• Authors: Aida Mostafazadeh Davani, Mark D\'iaz, Vinodkumar Prabhakaran
• Abstract要約: 主観的タスクに対するマルチアノテータモデルの有効性について検討する。 このアプローチは、トレーニング前にラベルをアグリゲートするよりも、同じまたは良いパフォーマンスが得られることを示す。 提案手法は予測の不確かさを推定する手段も提供し,従来の手法よりもアノテーションの不一致との相関が良好であることを示す。
• 参考スコア（独自算出の注目度）: 6.546195629698355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Majority voting and averaging are common approaches employed to resolve annotator disagreements and derive single ground truth labels from multiple annotations. However, annotators may systematically disagree with one another, often reflecting their individual biases and values, especially in the case of subjective tasks such as detecting affect, aggression, and hate speech. Annotator disagreements may capture important nuances in such tasks that are often ignored while aggregating annotations to a single ground truth. In order to address this, we investigate the efficacy of multi-annotator models. In particular, our multi-task based approach treats predicting each annotators' judgements as separate subtasks, while sharing a common learned representation of the task. We show that this approach yields same or better performance than aggregating labels in the data prior to training across seven different binary classification tasks. Our approach also provides a way to estimate uncertainty in predictions, which we demonstrate better correlate with annotation disagreements than traditional methods. Being able to model uncertainty is especially useful in deployment scenarios where knowing when not to make a prediction is important.
• Abstract（参考訳）: 多数決と平均化は、アノテータの不一致を解消し、複数のアノテーションから単一基底真理ラベルを導出するための一般的なアプローチである。 しかし、アノテーターは体系的に互いに意見の相違があり、特に感情、攻撃性、ヘイトスピーチなどの主観的タスクの場合、個々のバイアスや価値観を反映することが多い。 アノテーションの不一致は、しばしば無視されるようなタスクにおいて重要なニュアンスを捉え、アノテーションを一つの根拠の真実に集約する。 そこで本研究では,マルチアノテータモデルの有効性について検討する。 特に、マルチタスクに基づくアプローチでは、各アノテータの判断を個別のサブタスクとして予測し、タスクの共通の学習表現を共有する。 このアプローチは、7つの異なるバイナリ分類タスクにまたがるトレーニングの前にデータラベルを集約するよりも、同等または優れたパフォーマンスをもたらす。 提案手法は予測の不確かさを推定する手段も提供し,従来の手法よりもアノテーションの不一致との相関が良好であることを示す。 不確実性をモデル化できることは、予測を行うべきでないことを知るデプロイメントシナリオにおいて特に有用である。

関連論文リスト

• Multi-Perspective Stance Detection [2.8073184910275293]
  マルチパースペクティブアプローチは、単一ラベルを使用するベースラインよりも優れた分類性能が得られる。 これは、より包括的な視点を意識したAIモデルを設計することが、責任と倫理的なAIを実装するための重要な第一歩であるだけでなく、従来のアプローチよりも優れた結果を達成することも必要である。
  論文  参考訳（メタデータ） (2024-11-13T16:30:41Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• ACTOR: Active Learning with Annotator-specific Classification Heads to Embrace Human Label Variation [35.10805667891489]
  積極的学習は、アノテーションのコスト削減戦略として、不一致から学ぶという文脈で完全には研究されていない。 アクティブな学習環境では、不確実性推定の観点から、マルチヘッドモデルの方がシングルヘッドモデルよりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-23T14:26:43Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Disjoint Contrastive Regression Learning for Multi-Sourced Annotations [10.159313152511919]
  大規模データセットはディープラーニングモデルの開発に重要である。 複数のアノテータを使用して、データの異なるサブセットをラベル付けすることができる。 異なるアノテータ間の矛盾とバイアスはモデルトレーニングに有害である。
  論文  参考訳（メタデータ） (2021-12-31T12:39:04Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Learning from Crowds with Sparse and Imbalanced Annotations [29.596070201105274]
  クラウドソーシングは、非専門家の群衆を頼りにすることで、効率的なラベリングソリューションとして自らを確立した。 一般的には、各インスタンスを複数のワーカに配布するが、各ワーカはデータのサブセットのみをアノテートする。 本稿では、自信ある擬似アノテーションを段階的に追加し、アノテーション分布を再バランスさせることにより、自己学習に基づく1つのアプローチ、Self-Crowdを提案する。
  論文  参考訳（メタデータ） (2021-07-11T13:06:20Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)
• Towards Robust Fine-grained Recognition by Maximal Separation of Discriminative Features [72.72840552588134]
  本研究は, 粒度認識ネットワークにおけるクラス間の潜伏表現の近接性を, 敵攻撃の成功の鍵となる要因として同定する。 注意に基づく正規化機構を導入し、異なるクラスの識別潜在特徴を最大限に分離する。
  論文  参考訳（メタデータ） (2020-06-10T18:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。