論文の概要: The Structure of Disagreement in Emotion Annotation
- arxiv url: http://arxiv.org/abs/2611.01539v1
- Date: Sun, 01 Nov 2026 04:10:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.483188
- Title: The Structure of Disagreement in Emotion Annotation
- Title（参考訳）: 感情アノテーションにおける相違の構造
- Abstract要約: 本稿では感情のアノテーションで発生する不一致のタイプについて検討する。
アーネスト・ヘミングウェイ(Ernest Hemingway)の『The Old Man and the Sea』の1,677文単位のマルチラベルアノテーションから始まる。
3つのデータセットにまたがって、主に3つの不一致構造が見つかる。
- 参考スコア（独自算出の注目度）: 0.038233569758620044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Calculating inter-annotator agreement is an established practice in NLP, and disagreement-aware work increasingly retains the distribution of human judgments rather than reducing annotations to a single gold label. Keeping the distribution, however, does not explain why annotators disagree. This paper examines the types of disagreement that occur in emotion annotation, starting from multilabel annotations of 1,677 sentence-level units from Ernest Hemingway's The Old Man and the Sea and testing the patterns they reveal against individual-level annotations from BRIGHTER and GoEmotions. Across the three datasets, we find three main recurring disagreement structures. Emotion categories overlap systematically; annotators differ both in how broadly they apply labels and in how they treat particular category boundaries, while sparse participation and explicit abstention can look like disagreement. Where intensity is rated, disagreement over whether an emotion is present can be separated from disagreement over its intensity once recognized. Similar aggregate disagreement can therefore arise from qualitatively different annotation processes. Hard aggregation removes most of this structure, while annotator vote-share representations keep marginal label frequencies but not the co-occurrence, annotator-specific, or procedural patterns that produced them. We argue that disagreement should be understood in terms of its underlying patterns before it is summarized, aggregated, or used as a modeling target, and propose a vocabulary for disagreement structure.
- Abstract（参考訳）: アノテーション間合意の計算は、NLPにおいて確立された慣行であり、不一致認識の作業は、単一のゴールドラベルへのアノテーションを減らすのではなく、人間の判断の分布をますます維持する。
しかし、この分布を維持することは、アノテータが反対する理由を説明するものではない。
本稿では,エルネスト・ヘミングウェイ(Ernest Hemingway)の『老人と海(The Old Man and the Sea)』の1,677文単位のマルチラベルアノテーションから始まる感情アノテーションにおける不一致のタイプについて検討し,BRIGHTERとGoEmotionsの個人レベルのアノテーションに対して提示されるパターンを検証した。
3つのデータセットにまたがって、主に3つの不一致構造が見つかる。
感情カテゴリーは体系的に重複し、アノテーターはラベルをいかに広く適用するか、特定のカテゴリー境界をどのように扱うかの両方が異なる。
強さが評価される場合、感情が存在するかどうかについての意見の相違は、一度認識された強さについての意見の相違から分離することができる。
類似の集合不一致は、定性的に異なるアノテーションプロセスから生じる。
ハードアグリゲーションは、この構造の大部分を取り除き、アノテータの投票シェア表現は、境界ラベルの周波数を維持するが、それらを生成する共起、アノテータ固有の、手続き的なパターンは保持しない。
我々は、不一致を要約、集約、あるいはモデリング対象として使用する前に、その基礎となるパターンの観点で理解すべきであり、不一致構造のための語彙を提案する。
関連論文リスト
- Exposing Weaknesses in Emotion Recognition in Conversations [3.540702214700106]
ゼロショット環境でのLarge Language Models (LLM) を用いた会話(ERC)における感情認識について検討した。
集約されたメトリクスが、体系的な失敗を隠蔽していることが示されます。
LLM-as-Judgeフレームワークを導入し、会話の文脈におけるその妥当性に応じて各感情を独立に評価する。
論文 参考訳（メタデータ） (2026-09-05T01:40:01Z) - Beyond Black-Box Labels: Interpretable Criteria for Diagnosing SubjectiveNLP Tasks [0.0]
本稿では,専門家が設計したアノテーションスキーマを監査するためのEmphschemaレベル診断法を提案する。
診断は2つの障害モードを分離する: 不安定な条件と操作の難しい境界、および相互排他的カテゴリの境界を曖昧にする体系的な重複。
これらのシグナルは、ドメインの専門家が同意しない場所と一致し、ガイドラインの締め付け、カテゴリ構造の変更、あるいはアノテーションパラダイムの再検討のためのエビデンスベースの監査を得る。
論文 参考訳（メタデータ） (2026-04-18T15:09:20Z) - From Disagreement to Understanding: The Case for Ambiguity Detection in NLI [3.5164356851161984]
このポジションペーパーでは、自然言語推論(NLI)におけるアノテーションの不一致は単なるノイズではなく、しばしば意味のある変化を反映していると主張している。
まず、あいまいな入力ペアを識別し、それらの型を分類し、次に推論に進む、あいまいさを意識したNLIへのシフトを呼びます。
論文 参考訳（メタデータ） (2025-07-20T20:27:35Z) - Subjectivity in the Annotation of Bridging Anaphora [10.942182034424714]
ブリッジング(英: Bridging)とは、会話において、推論不可能な実体とその先行者の間の連想関係を指す。
アナフォラとその先駆者たちをブリッジする注釈において一貫した合意を達成することは困難である。
そこで本研究では,ブリッジングサブタイプを新たに開発した分類システムを提案する。
論文 参考訳（メタデータ） (2025-06-08T21:40:09Z) - Weakly-Supervised Contrastive Learning for Imprecise Class Labels [50.57424331797865]
正対と負対を定義するために「連続的意味的類似性」の概念を導入する。
弱教師付きコントラスト学習のためのグラフ理論フレームワークを提案する。
我々のフレームワークは非常に多用途であり、多くの弱い教師付き学習シナリオに適用できる。
論文 参考訳（メタデータ） (2025-05-28T06:50:40Z) - Unsupervised Mapping of Arguments of Deverbal Nouns to Their
Corresponding Verbal Labels [52.940886615390106]
デバーバル名詞は英語の文章でよく使われる動詞で、出来事や行動やその議論を記述している。
名前付けされた構成の引数を扱うために存在する解決策は意味論的アノテーションに基づいている。
本稿では,より統語的アプローチを導入し,デバーバル名詞の議論を対応する動詞構成にマッピングする。
論文 参考訳（メタデータ） (2023-06-24T10:07:01Z) - RankCSE: Unsupervised Sentence Representations Learning via Learning to
Rank [54.854714257687334]
本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。
コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。
セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
論文 参考訳（メタデータ） (2023-05-26T08:27:07Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z) - Investigating Reasons for Disagreement in Natural Language Inference [9.002603216969154]
3つのハイレベルクラスにまたがる相違点の分類法を開発した。
いくつかの相違は文の意味の不確実性によるものであり、アノテータバイアスやタスクアーティファクトによるものである。
潜在的な不一致のある項目を検出するための2つのモデリング手法について検討する。
論文 参考訳（メタデータ） (2022-09-07T18:01:39Z) - Dynamic Semantic Matching and Aggregation Network for Few-shot Intent
Detection [69.2370349274216]
利用可能な注釈付き発話が不足しているため、インテント検出は困難である。
セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。
本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
論文 参考訳（メタデータ） (2020-10-06T05:16:38Z) - GRACE: Gradient Harmonized and Cascaded Labeling for Aspect-based
Sentiment Analysis [90.43089622630258]
本稿では、これらの問題を解決するために、GRACE(GRadient hArmonized and CascadEd labeling model)を提案する。
提案モデルでは,複数のベンチマークデータセットの整合性向上を実現し,最先端の結果を生成する。
論文 参考訳（メタデータ） (2020-09-22T13:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。