論文の概要: Beyond Consensus: Perspectivist Modeling and Evaluation of Annotator Disagreement in NLP
- arxiv url: http://arxiv.org/abs/2601.09065v1
- Date: Wed, 14 Jan 2026 01:26:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-15 18:59:20.214017
- Title: Beyond Consensus: Perspectivist Modeling and Evaluation of Annotator Disagreement in NLP
- Title（参考訳）: コンセンサスを超えて:NLPにおけるアノテーション分解のパースペクティビストモデリングと評価
- Authors: Yinuo Xu, David Jurgens,
- Abstract要約: アノテーションの不一致は、特に毒性の検出やスタンス分析のような主観的で曖昧なタスクに対して、NLPで広く見られる。
まず、データ、タスク、アノテータ要素にまたがる不一致の原因のドメインに依存しない分類を提示する。
次に,予測対象とプール構造によって定義された共通フレームワークを用いてモデリング手法を合成する。
- 参考スコア（独自算出の注目度）: 25.097081181685613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Annotator disagreement is widespread in NLP, particularly for subjective and ambiguous tasks such as toxicity detection and stance analysis. While early approaches treated disagreement as noise to be removed, recent work increasingly models it as a meaningful signal reflecting variation in interpretation and perspective. This survey provides a unified view of disagreement-aware NLP methods. We first present a domain-agnostic taxonomy of the sources of disagreement spanning data, task, and annotator factors. We then synthesize modeling approaches using a common framework defined by prediction targets and pooling structure, highlighting a shift from consensus learning toward explicitly modeling disagreement, and toward capturing structured relationships among annotators. We review evaluation metrics for both predictive performance and annotator behavior, and noting that most fairness evaluations remain descriptive rather than normative. We conclude by identifying open challenges and future directions, including integrating multiple sources of variation, developing disagreement-aware interpretability frameworks, and grappling with the practical tradeoffs of perspectivist modeling.
- Abstract（参考訳）: アノテーションの不一致は、特に毒性の検出やスタンス分析のような主観的で曖昧なタスクに対して、NLPで広く見られる。
初期のアプローチでは、不一致をノイズとして除去するが、近年の研究では、解釈と視点のバリエーションを反映した有意義な信号としてモデル化されている。
この調査は、不一致を意識したNLP手法の統一的な見解を提供する。
まず、データ、タスク、アノテータ要素にまたがる不一致の原因のドメインに依存しない分類を提示する。
次に、予測対象とプール構造によって定義された共通フレームワークを用いてモデリングアプローチを合成し、コンセンサス学習から明示的なモデリング不一致へのシフトを強調し、アノテータ間の構造的関係を捉える。
本稿では,予測性能とアノテータ動作の両面での評価指標について検討し,ほとんどのフェアネス評価が規範的というよりも記述的であることに注意する。
我々は,多変量源の統合,不一致を意識した解釈可能性フレームワークの開発,そして観念的モデリングの実践的トレードオフに対処することを含む,オープンな課題と今後の方向性を特定することで結論づける。
関連論文リスト
- TRACE: A Framework for Analyzing and Enhancing Stepwise Reasoning in Vision-Language Models [9.607579442309639]
本稿では,トランスペアレント推論と一貫性評価のためのフレームワークであるTRACEを紹介する。
TRACEleverages Auxiliary Reasoning Setsは複雑な問題を分解する。
実験の結果, ARS間の整合性は最終回答の正しさと相関していることがわかった。
TRACEは信頼できない推論パスと信頼できない推論パスを区別する信頼領域を定義する。
論文 参考訳（メタデータ） (2025-12-05T18:40:18Z) - A Unified Evaluation Framework for Multi-Annotator Tendency Learning [6.801084054135531]
2つの新しい指標を持つ最初の統合評価フレームワークを提案する。
DIC(Inter-Annotator Consistency)の違いは、モデルがアノテータの傾向をいかに捉えるかを示す。
振る舞いアライメント説明可能性(BAE)は、モデル説明がアノテータの振る舞いと意思決定の関連性をうまく反映しているかを評価する。
論文 参考訳（メタデータ） (2025-08-14T06:50:20Z) - Fair Deepfake Detectors Can Generalize [51.21167546843708]
共同設立者(データ分散とモデルキャパシティ)の制御により,公正な介入による一般化が向上することを示す。
この知見を応用して, 逆正当性重み付けとサブグループワイド特徴正規化を併用し, 新たなアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・インセンティブ・インターベンション・インベンション・インテクション(DAID)を提案する。
DAIDは、いくつかの最先端技術と比較して、公平性と一般化の両方において一貫して優れた性能を達成する
論文 参考訳（メタデータ） (2025-07-03T14:10:02Z) - A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。
大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
論文 参考訳（メタデータ） (2025-05-29T18:55:05Z) - Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models [16.328341121232484]
文脈介入の効果を測定するために因果効果推定手法を適用した。
本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
論文 参考訳（メタデータ） (2024-04-03T10:22:35Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z) - On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。
これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。
これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
論文 参考訳（メタデータ） (2021-04-18T09:19:44Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。