論文の概要: Learning Who Disagrees: Demographic Importance Weighting for Modeling Annotator Distributions with DiADEM

• arxiv url: http://arxiv.org/abs/2604.08425v1
• Date: Thu, 09 Apr 2026 16:29:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:06.023088
• Title: Learning Who Disagrees: Demographic Importance Weighting for Modeling Annotator Distributions with DiADEM
• Title（参考訳）: 診断者の学習:DiADEMを用いたアノテーション分布のモデル化のためのデモグラフィック重要度重み付け
• Authors: Samay U. Shetty, Tharindu Cyril Weerasooriya, Deepak Pandita, Christopher M. Homan,
• Abstract要約: DiADEMは、誰が同意しないかを予測するために、「各階層軸がどれほど重要か」を学習するニューラルネットワークである。 以上の結果から,アノテータがNLPシステムに必須であるだけでなく,アノテータを明示的にモデル化できることが示唆された。
• 参考スコア（独自算出の注目度）: 7.219237599532391
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: When humans label subjective content, they disagree, and that disagreement is not noise. It reflects genuine differences in perspective shaped by annotators' social identities and lived experiences. Yet standard practice still flattens these judgments into a single majority label, and recent LLM-based approaches fare no better: we show that prompted large language models, even with chain-of-thought reasoning, fail to recover the structure of human disagreement. We introduce DiADEM, a neural architecture that learns "how much each demographic axis matters" for predicting who will disagree and on what. DiADEM encodes annotators through per-demographic projections governed by a learned importance vector $\boldsymbolα$, fuses annotator and item representations via complementary concatenation and Hadamard interactions, and is trained with a novel item-level disagreement loss that directly penalizes mispredicted annotation variance. On the DICES conversational-safety and VOICED political-offense benchmarks, DiADEM substantially outperforms both the LLM-as-a-judge and neural model baselines across standard and perspectivist metrics, achieving strong disagreement tracking ($r{=}0.75$ on DICES). The learned $\boldsymbolα$ weights reveal that race and age consistently emerge as the most influential demographic factors driving annotator disagreement across both datasets. Our results demonstrate that explicitly modeling who annotators are not just what they label is essential for NLP systems that aim to faithfully represent human interpretive diversity.
• Abstract（参考訳）: 人間が主観的コンテンツをラベル付けするとき、彼らは同意せず、意見の相違はノイズではない。 注釈人の社会的アイデンティティや生活経験によって形作られた視点の真の相違を反映している。 しかし、標準的な慣行は、これらの判断を単一多数決のラベルにフラットにし、最近のLCMベースのアプローチでは、大きな言語モデルが、チェーン・オブ・プリンシパルな推論であっても、人間の不一致の構造を回復することができないことを示す。 われわれはDiADEMというニューラルアーキテクチャを導入し、誰が意見の一致を予測し、何について意見の一致を予測できる「各階層軸がどの程度重要か」を学習する。 DiADEMは、学習された重要ベクトル$\boldsymbolα$で支配されるデデノグラフィーごとの投影を通じてアノテータを符号化し、補完的な結合とアダマール相互作用を介してアノテータとアイテム表現を融合し、予測されたアノテーションの分散を直接罰する新しいアイテムレベルの不一致損失で訓練される。 DICESの会話安全とVOICEDの政治的不正のベンチマークでは、DiADEMは標準とパースペクティブのメトリクスでLLM-as-a-judgeとニューラルモデルベースラインを大きく上回り、強い不一致追跡(DICESではr{=}0.75$)を達成する。 学習した$\boldsymbolα$ weightsは、人種と年齢が、両方のデータセット間でアノテータの不一致を引き起こす最も影響力のある要因として一貫して現れていることを示している。 以上の結果から,アノテータが人間の解釈多様性を忠実に表現することを目的としたNLPシステムにおいて,アノテータのラベル付けが必須ではないことが示唆された。

関連論文リスト

• From Noise to Signal to Selbstzweck: Reframing Human Label Variation in the Era of Post-training in NLP [35.8165102355067]
  我々は、HLVを人間の多元主義の具現化として保存することは、Selbstzweckとして扱う必要があると論じる。 我々は、HLVを優先データセットに積極的に組み込んで、それに向けた実行可能なステップを概説することを求めている。
  論文  参考訳（メタデータ） (2025-10-09T17:48:29Z)
• Can Reasoning Help Large Language Models Capture Human Annotator Disagreement? [84.32752330104775]
  ヒトのアノテーションの変化(つまり不一致)は、NLPでは一般的である。 異なる推論条件が大言語モデルの不一致モデルに与える影響を評価する。 意外なことに、RLVRスタイルの推論は不一致モデリングにおいて性能を低下させる。
  論文  参考訳（メタデータ） (2025-06-24T09:49:26Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Bridging the Gap: In-Context Learning for Modeling Human Disagreement [8.011316959982654]
  大規模言語モデル(LLM)はNLP分類タスクにおいて高い性能を示している。 本研究では,LLMが複数の視点を捉えることができ,ヘイトスピーチや攻撃的言語検出などの主観的タスクにおいてアノテータの不一致を反映できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-06-06T14:24:29Z)
• Subjective Crowd Disagreements for Subjective Data: Uncovering Meaningful CrowdOpinion with Population-level Learning [8.530934084017966]
  emphCrowdOpinionは、言語特徴とラベル分布を用いて、類似した項目をラベル分布のより大きなサンプルにまとめる教師なし学習手法である。 ソーシャルメディアから利用可能な5つのベンチマークデータセット(アノテータの不一致のレベルが異なる)を使用します。 また、Facebookのデータセットを使って、投稿に反応するユーザーによって、プラットフォーム自体からアノテーションが送られてくるような実験も行っています。
  論文  参考訳（メタデータ） (2023-07-07T22:09:46Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Everyone's Voice Matters: Quantifying Annotation Disagreement Using Demographic Information [11.227630261409706]
  本研究では,タスクのテキストとアノテータの階層的背景情報を用いて,アノテータ間の不一致の程度を推定できるかどうかを検討する。 その結果, 性別, 民族, 教育水準などのアノテータの人口統計情報を知ることは, 意見の不一致の予測に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-12T14:04:53Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。