論文の概要: Quantifying and Predicting Disagreement in Graded Human Ratings

• arxiv url: http://arxiv.org/abs/2605.01168v1
• Date: Fri, 01 May 2026 23:56:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.62256
• Title: Quantifying and Predicting Disagreement in Graded Human Ratings
• Title（参考訳）: 段階的評価における診断の定量化と予測
• Authors: Leixin Zhang, Çağrı Çöltekin,
• Abstract要約: 不適切な言語に対する格付け人間の評価におけるアノテーションの変動パターンについて検討した。 本稿では,アノテータ間の視点対立を定量化する指標であるオポポジション指数を提案する。
• 参考スコア（独自算出の注目度）: 0.6138671548064355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is increasingly recognized that human annotators do not always agree, and such disagreement is inherent in many annotation tasks. However, not all instances in a given task elicit the same degree of opinion divergence. In this paper, we investigate annotation variation patterns in graded human ratings for inappropriate languages, including offensive language, hate speech, and toxic language perception. We examine whether the degree of annotation disagreement can be predicted from textual features. We further propose the Opposition Index, a metric that quantifies perspective opposition among annotators on a given item, and investigate the predictability of instances with potentially opposing human opinions. Our results show a moderate positive correlation between estimated and observed annotation variance. We find that two approaches achieve comparable performance in variance prediction: directly predicting the variance value and estimating it from predicted annotation distributions. Our results on opposition perspective prediction show that items with high opposition index values are more difficult to predict and are often underestimated by models.
• Abstract（参考訳）: 人間アノテータは必ずしも一致しないと考えられており、このような意見の相違は多くのアノテーションタスクに固有のものである。 しかし、あるタスクのすべてのインスタンスが同じ意見の相違を生じさせるわけではない。 本稿では,攻撃的言語,ヘイトスピーチ,有害言語知覚など,不適切な言語に対する格付けされた人間の評価におけるアノテーションの変動パターンについて検討する。 注釈の不一致の程度をテキストの特徴から予測できるかどうかを検討する。 さらに,ある項目におけるアノテータ間の視点対立を定量化する指標であるオポポレーション指標を提案し,人的意見に反する可能性のある事例の予測可能性について検討する。 その結果, 評価値と観察値との正の相関が認められた。 その結果,2つの手法が分散予測において同等の性能を達成していることがわかった。 反対視点予測の結果は、高い反対指標値を持つ項目は予測が困難であり、しばしばモデルによって過小評価されることを示している。

関連論文リスト

• Beyond the Mean: Modelling Annotation Distributions in Continuous Affect Prediction [3.3187704612685267]
  ベータ分布を用いたアノテーションのコンセンサスをモデル化する分散対応フレームワークを提案する。 モデルでは、単一の影響値を予測する代わりに、アノテーション分布の平均と標準偏差を推定する。 その結果、このモデルは感情知覚の中心的な傾向だけでなく、アノテータ応答における変動性、非対称性、不確実性も捉えている。
  論文  参考訳（メタデータ） (2026-04-08T15:26:56Z)
• Beyond Consensus: Perspectivist Modeling and Evaluation of Annotator Disagreement in NLP [25.097081181685613]
  アノテーションの不一致は、特に毒性の検出やスタンス分析のような主観的で曖昧なタスクに対して、NLPで広く見られる。 まず、データ、タスク、アノテータ要素にまたがる不一致の原因のドメインに依存しない分類を提示する。 次に,予測対象とプール構造によって定義された共通フレームワークを用いてモデリング手法を合成する。
  論文  参考訳（メタデータ） (2026-01-14T01:26:29Z)
• Covert Bias: The Severity of Social Views' Unalignment in Language Models Towards Implicit and Explicit Opinion [0.40964539027092917]
  過度なバイアスシナリオのエッジケースにおけるバイアスモデルを用いて、ビューに対するバイアスの重症度を評価する。 以上の結果から,暗黙的・明示的な意見の識別において,LLM 性能の相違が明らかとなり,反対意見の明示的な意見に対する偏見の傾向が一般的であった。 非整合モデルの直接的な不注意な反応は、決定性のさらなる洗練の必要性を示唆している。
  論文  参考訳（メタデータ） (2024-08-15T15:23:00Z)
• Regressor-Segmenter Mutual Prompt Learning for Crowd Counting [70.49246560246736]
  本稿では,アノテーションの差によるバイアスや不正確性を解決するために,相互学習(mPrompt)を提案する。 実験により、mPromptは平均誤差(MAE)を著しく減少させることが示された。
  論文  参考訳（メタデータ） (2023-12-04T07:53:59Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Rethinking and Refining the Distinct Metric [61.213465863627476]
  我々は、その期待に基づいて異なるトークンの数を再スケーリングすることで、異なるスコアの計算を洗練する。 実験的および理論的証拠の両面から,本手法が元の異なるスコアで示されるバイアスを効果的に除去することを示す。
  論文  参考訳（メタデータ） (2022-02-28T07:36:30Z)
• Dealing with Disagreements: Looking Beyond the Majority Vote in Subjective Annotations [6.546195629698355]
  主観的タスクに対するマルチアノテータモデルの有効性について検討する。 このアプローチは、トレーニング前にラベルをアグリゲートするよりも、同じまたは良いパフォーマンスが得られることを示す。 提案手法は予測の不確かさを推定する手段も提供し,従来の手法よりもアノテーションの不一致との相関が良好であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T03:12:34Z)
• Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations [65.05561023880351]
  敵の例は誤分類を引き起こすために作られた悪意のある入力である。 本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。 感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-11T18:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。