論文の概要: In the Eye of the Beholder: Human Label Variation in Textual and Visual Entailment
- arxiv url: http://arxiv.org/abs/2611.17954v1
- Date: Fri, 13 Nov 2026 09:41:55 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:31:29.080012
- Title: In the Eye of the Beholder: Human Label Variation in Textual and Visual Entailment
- Title(参考訳): 利害関係者の視線:テキスト・ビジュアル・エンタテインメントにおける人間のラベルの変化
- Abstract要約: VariNLI-VE(VariNLI-VE)は、人間のラベル変化(HLV)がNLI(Neled Natural Language Inference)とVE(Visual Entailment)の間でどのように変化するかを研究するデータセットである。
我々は、当初中立だったSNLIインスタンスとその視覚的インスタンスのサブセットを再注釈し、同じアノテータでテキスト版と視覚版の両方を評価した。
各アノテーションにはラベル、信頼スコア、説明が含まれ、2250のアノテーションが生成される。
- 参考スコア(独自算出の注目度): 32.61222012556697
- License:
- Abstract: Human Label Variation (HLV) is increasingly recognised as an informative signal that reflects meaningful differences in how people interpret the same input. While HLV has been studied extensively in Natural Language Inference (NLI), much less is known about HLV in Visual Entailment (VE; Xie et al., 2019), where the textual premise is replaced by an image, keeping the hypothesis and label space fixed. We introduce VariNLI-VE, a dataset for studying how HLV changes between paired NLI and VE instances. We re-annotate a subset of originally neutral SNLI (Bowman et al., 2015) instances and their visual counterparts, with the same annotators evaluating both the textual and visual versions. Each annotation includes a label, confidence score, and explanation, yielding 2,250 annotations. Labels and explanations are collected jointly, providing ecologically valid explanations. Because the image may reveal information not stated in the text, one might expect disagreement to decrease in VE. Instead, we find no clear overall reduction: disagreement decreases for some instances while it increases for others. Explanations reveal further variation, as annotators can retain the same label while changing their rationale. When evaluating vision-language models (VLMs) on the paired data, we find lower accuracy, weaker alignment with human label distributions, and generally higher uncertainty in VE than in NLI.
- Abstract(参考訳): 人間ラベル変化(HLV)は、人々が同じ入力をどう解釈するかにおいて有意義な違いを反映する情報信号として、ますます認識されている。
HLVは自然言語推論(NLI)において広く研究されているが、テキストの前提が画像に置き換えられ、仮説とラベル空間が固定される、ビジュアル・エンタテメント(VE; Xie et al , 2019)におけるHLVについてはあまり知られていない。
VariNLI-VEは、HLVがNLIとVEインスタンスのペア間でどのように変化するかを研究するデータセットである。
我々は、当初中立だったSNLI(Bowman et al , 2015)インスタンスとその視覚的インスタンスのサブセットを再注釈し、テキスト版と視覚版の両方を評価した。
各アノテーションにはラベル、信頼スコア、説明が含まれ、2250のアノテーションが生成される。
ラベルと説明は共同で収集され、生態学的に妥当な説明を提供する。
画像はテキストに記載されていない情報を明らかにする可能性があるため、VEの減少が期待できるかもしれない。
一部のケースでは不一致が減少し、他のケースでは増加します。
説明は、アノテータがそれらの理性を変えながら同じラベルを保持することができるため、さらなるバリエーションを示す。
ペアデータ上で視覚言語モデル (VLM) を評価する場合, 精度が低く, ラベル分布との整合性が弱く, VEにおける不確実性がNLIよりも高いことがわかった。
関連論文リスト
- Revisiting Active Learning under (Human) Label Variation [25.25602927653135]
HLV (Human label variation) は、情報信号としてのアノテーションのもっともらしい差異である。
本稿では,HLVをアクティブな学習ループ全体に組み込むための概念的フレームワークを提案する。
本研究の目的は,実世界のアノテーションの複雑さを反映したHLV対応能動学習の概念的基盤を構築することである。
論文 参考訳(メタデータ) (2025-07-03T12:59:28Z) - LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference [34.648042619016394]
自由文の説明を英語で分類するための言語情報を用いた分類法であるLITEXを紹介する。
この分類を用いて、e-SNLIデータセットのサブセットに注釈を付け、分類の信頼性を評価し、NLIラベル、ハイライト、説明とどのように一致しているかを分析する。
論文 参考訳(メタデータ) (2025-05-28T20:32:48Z) - Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
きめ細かい評価のための新しいアプローチを導入する。
テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。
きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
論文 参考訳(メタデータ) (2024-10-16T09:42:29Z) - X-PARADE: Cross-Lingual Textual Entailment and Information Divergence across Paragraphs [55.80189506270598]
X-PARADEは、段落レベルの情報の分岐の最初の言語間データセットである。
アノテーションは、対象言語における段落をスパンレベルでラベル付けし、ソース言語における対応する段落に対して評価する。
アライメントされた段落は、異なる言語のウィキペディアページから引用される。
論文 参考訳(メタデータ) (2023-09-16T04:34:55Z) - Is Label Smoothing Truly Incompatible with Knowledge Distillation: An
Empirical Study [59.95267695402516]
本研究では,ラベルスムージングがナレッジ蒸留と相容れないことを実証的に明らかにする。
ラベルスムージングが意味的に類似したクラスと異なるクラスの分布にどのように影響するかに関する新しい接続を提供します。
我々は,その一面性と不完全性について,大規模解析,可視化,包括的な実験を通じて検討する。
論文 参考訳(メタデータ) (2021-04-01T17:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。