論文の概要: Agree, Disagree, Explain: Decomposing Human Label Variation in NLI through the Lens of Explanations

• arxiv url: http://arxiv.org/abs/2510.16458v1
• Date: Sat, 18 Oct 2025 11:40:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:11.822227
• Title: Agree, Disagree, Explain: Decomposing Human Label Variation in NLI through the Lens of Explanations
• Title（参考訳）: Agree, Disagree, Explain: 説明レンズによるNLIのラベル変動の分解
• Authors: Pingjun Hong, Beiduo Chen, Siyao Peng, Marie-Catherine de Marneffe, Benjamin Roth, Barbara Plank,
• Abstract要約: 自然言語推論データセットは、しばしば人間のラベルのバリエーションを示す。 そのようなアプローチの1つはLiTEx分類であり、英語における自由文の説明を推論タイプに分類する。 本稿では,アノテータが推論型だけでなく,ラベリング段階においてもどのように分散するかを検討することで,その範囲を広げる。
• 参考スコア（独自算出の注目度）: 34.04363206545923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Language Inference datasets often exhibit human label variation. To better understand these variations, explanation-based approaches analyze the underlying reasoning behind annotators' decisions. One such approach is the LiTEx taxonomy, which categorizes free-text explanations in English into reasoning types. However, previous work applying such taxonomies has focused on within-label variation: cases where annotators agree on the final NLI label but provide different explanations. In contrast, this paper broadens the scope by examining how annotators may diverge not only in the reasoning type but also in the labeling step. We use explanations as a lens to decompose the reasoning process underlying NLI annotation and to analyze individual differences. We apply LiTEx to two NLI English datasets and align annotation variation from multiple aspects: NLI label agreement, explanation similarity, and taxonomy agreement, with an additional compounding factor of annotators' selection bias. We observe instances where annotators disagree on the label but provide highly similar explanations, suggesting that surface-level disagreement may mask underlying agreement in interpretation. Moreover, our analysis reveals individual preferences in explanation strategies and label choices. These findings highlight that agreement in reasoning types better reflects the semantic similarity of free-text explanations than label agreement alone. Our findings underscore the richness of reasoning-based explanations and the need for caution in treating labels as ground truth.
• Abstract（参考訳）: 自然言語推論データセットは、しばしば人間のラベルのバリエーションを示す。 これらのバリエーションをより深く理解するために、説明に基づくアプローチは、アノテーションの判断の背後にある根底にある理由を分析する。 そのようなアプローチの1つはLiTEx分類であり、英語における自由文の説明を推論タイプに分類する。 しかし、このような分類学を適用した以前の研究は、ラベル内変異に焦点を当てている: 注釈者が最終NLIラベルに同意するが、異なる説明を提供する場合。 対照的に,本論文は,アノテータが推論型だけでなく,ラベル付け段階においてもどのように分岐するかを検討することによって,範囲を広げる。 我々は、NLIアノテーションに基づく推論過程を分解し、個々の差異を分析するために、レンズとして説明を用いる。 我々は2つのNLI英語データセットにLiTExを適用し、複数の側面からアノテーションのバリエーションを整列する:NLIラベル合意、説明類似性、分類合意。 我々は、アノテータがラベルに同意しない事例を観察するが、非常に類似した説明を提供するので、表面レベルの不一致が解釈の基盤となる合意を覆す可能性があることを示唆する。 さらに、分析により、説明戦略やラベル選択における個人の好みを明らかにする。 これらの結果から, 推論型の合意は, ラベルの合意のみよりも, 自由文説明の意味的類似性を反映していることが示唆された。 本研究は, 推論に基づく説明の豊かさと, ラベルを根拠的真理として扱う上での注意が必要であることを明らかにするものである。

関連論文リスト

• Threading the Needle: Reweaving Chain-of-Thought Reasoning to Explain Human Label Variation [60.18907916989796]
  大規模言語モデル(LLM)は最終答を出す前に思考の連鎖(CoT)を生成する。 本稿では,各回答オプションに対するサポート文と反対文を抽出するために,言語的に接頭した談話セグメンタを付加した新しいパイプラインを提案する。 また、正確なスコアよりも回答のランクを優先するランクベースHLV評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-29T11:47:18Z)
• LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference [34.648042619016394]
  自由文の説明を英語で分類するための言語情報を用いた分類法であるLITEXを紹介する。 この分類を用いて、e-SNLIデータセットのサブセットに注釈を付け、分類の信頼性を評価し、NLIラベル、ハイライト、説明とどのように一致しているかを分析する。
  論文  参考訳（メタデータ） (2025-05-28T20:32:48Z)
• PropSegmEnt: A Large-Scale Corpus for Proposition-Level Segmentation and Entailment Recognition [63.51569687229681]
  文中の各命題の文的含意関係を個別に認識する必要性について論じる。 提案するPropSegmEntは45K以上の提案のコーパスであり, 専門家によるアノテートを行う。 我々のデータセット構造は、(1)文書内の文章を命題の集合に分割し、(2)異なるが、トポジカルに整合した文書に対して、各命題の含意関係を分類するタスクに類似している。
  論文  参考訳（メタデータ） (2022-12-21T04:03:33Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Debiased Contrastive Learning [64.98602526764599]
  我々は,同ラベルデータポイントのサンプリングを補正する,偏りのあるコントラスト目的の開発を行う。 実証的に、提案する目的は、視覚、言語、強化学習ベンチマークにおける表現学習の最先端を一貫して上回る。
  論文  参考訳（メタデータ） (2020-07-01T04:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。