論文の概要: Quantifying and Attributing Polarization to Annotator Groups

• arxiv url: http://arxiv.org/abs/2602.06055v1
• Date: Fri, 16 Jan 2026 12:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-15 14:54:53.667888
• Title: Quantifying and Attributing Polarization to Annotator Groups
• Title（参考訳）: アノテーション群への分極の定量化と寄与
• Authors: Dimitris Tsirmpas, John Pavlopoulos,
• Abstract要約: ポラリゼーションは、特にヘイトスピーチタスクにおいて、アノテータレースに強く、永続的に起因している。 より教養のあるアノテーションはより主観的であり、教養のあるアノテーションは彼らの間で広く合意する傾向がある。
• 参考スコア（独自算出の注目度）: 6.194291632696817
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Current annotation agreement metrics are not well-suited for inter-group analysis, are sensitive to group size imbalances and restricted to single-annotation settings. These restrictions render them insufficient for many subjective tasks such as toxicity and hate-speech detection. For this reason, we introduce a quantifiable metric, paired with a statistical significance test, that attributes polarization to various annotator groups. Our metric enables direct comparisons between heavily imbalanced sociodemographic and ideological subgroups across different datasets and tasks, while also enabling analysis on multi-label settings. We apply this metric to three datasets on hate speech, and one on toxicity detection, discovering that: (1) Polarization is strongly and persistently attributed to annotator race, especially on the hate speech task. (2) Religious annotators do not fundamentally disagree with each other, but do with other annotators, a trend that is gradually diminished and then reversed with irreligious annotators. (3) Less educated annotators are more subjective, while educated ones tend to broadly agree more between themselves. Overall, our results reflect current findings around annotation patterns for various subgroups. Finally, we estimate the minimum number of annotators needed to obtain robust results, and provide an open-source Python library that implements our metric.
• Abstract（参考訳）: 現在のアノテーション合意メトリクスは、グループ間分析には適さないが、グループサイズの不均衡に敏感であり、単一アノテーション設定に限定されている。 これらの制限は、毒性やヘイトスピーチの検出など、多くの主観的なタスクでは不十分である。 このような理由から,様々なアノテータ群に対する偏極を特徴付ける統計的意義試験と組み合わせた定量計量を導入する。 本測定法は, 異なるデータセットやタスクにまたがる, 不均衡な社会デマトグラフィーとイデオロギー的サブグループとの直接比較が可能であり, マルチラベル設定の分析も可能である。 この指標をヘイトスピーチの3つのデータセットに適用し,その1つは毒性の検出であり,(1)偏光はアノテータレース,特にヘイトスピーチタスクに強く永続的に寄与する。 2) 宗教アノテータは基本的には意見の相違はないが,他のアノテータと関係がある。 (3) 教師の少ないアノテーションはより主観的であり、教育の少ないアノテーションは彼らの間で広く合意する傾向にある。 本研究の結果は,様々なサブグループのアノテーションパターンに関する最近の知見を反映している。 最後に、ロバストな結果を得るために必要となるアノテータの最小数を推定し、我々のメトリクスを実装するオープンソースのPythonライブラリを提供する。

関連論文リスト

• Mitigating Subgroup Disparities in Multi-Label Speech Emotion Recognition: A Pseudo-Labeling and Unsupervised Learning Approach [53.824673312331626]
  Implicit Demography Inference (IDI)モジュールは、k平均クラスタリングを用いて、音声感情認識(SER)におけるバイアスを軽減する 実験により、擬似ラベルIDIはサブグループの格差を減らし、フェアネスの指標を28%以上改善することが示された。 教師なしのIDIは、SERのパフォーマンスが3.6%未満のフェアネス指標を4.6%以上改善する。
  論文  参考訳（メタデータ） (2025-05-20T14:50:44Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• When the Majority is Wrong: Modeling Annotator Disagreement for Subjective Tasks [45.14664901245331]
  ヘイトスピーチの検出における重要な問題は、ある声明が人口集団に対して攻撃的であるかどうかを決定することである。 我々は、潜在的に攻撃的なテキストに基づいて、個々のアノテータ評価を予測するモデルを構築した。 その結果、アノテータの評価は、その人口統計情報とオンラインコンテンツに関する意見を用いて予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-11T07:55:20Z)
• Reducing Target Group Bias in Hate Speech Detectors [56.94616390740415]
  大規模な公開データセットでトレーニングされたテキスト分類モデルは、いくつかの保護されたグループで大幅に性能が低下する可能性がある。 本稿では,トークンレベルのヘイトセンスの曖昧さを実現し,トークンのヘイトセンスの表現を検知に利用することを提案する。
  論文  参考訳（メタデータ） (2021-12-07T17:49:34Z)
• Contrastive Examples for Addressing the Tyranny of the Majority [83.93825214500131]
  我々は,グループメンバーシップを介在する,オリジナルのデータセットと新たなデータポイントからなるバランスの取れたトレーニングデータセットを作成することを提案する。 コントラッシブ・サンプル(英語版)と呼ばれるこれらのデータポイントを学習するための強力なツールとして、現在の生成的敵ネットワークが重要であることを示す。
  論文  参考訳（メタデータ） (2020-04-14T14:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。