論文の概要: LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference
- arxiv url: http://arxiv.org/abs/2505.22848v1
- Date: Wed, 28 May 2025 20:32:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-30 18:14:07.528742
- Title: LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference
- Title（参考訳）: LiTEx:自然言語推論におけるラベル内変異の理解のための説明の言語分類
- Authors: Pingjun Hong, Beiduo Chen, Siyao Peng, Marie-Catherine de Marneffe, Barbara Plank,
- Abstract要約: 自由文の説明を分類するための言語情報を用いた分類法であるLITEXを紹介する。
この分類を用いて、e-SNLIデータセットのサブセットに注釈を付け、分類の信頼性を評価し、NLIラベル、ハイライト、説明とどのように一致しているかを分析する。
- 参考スコア（独自算出の注目度）: 23.28476268369439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is increasing evidence of Human Label Variation (HLV) in Natural Language Inference (NLI), where annotators assign different labels to the same premise-hypothesis pair. However, within-label variation--cases where annotators agree on the same label but provide divergent reasoning--poses an additional and mostly overlooked challenge. Several NLI datasets contain highlighted words in the NLI item as explanations, but the same spans on the NLI item can be highlighted for different reasons, as evidenced by free-text explanations, which offer a window into annotators' reasoning. To systematically understand this problem and gain insight into the rationales behind NLI labels, we introduce LITEX, a linguistically-informed taxonomy for categorizing free-text explanations. Using this taxonomy, we annotate a subset of the e-SNLI dataset, validate the taxonomy's reliability, and analyze how it aligns with NLI labels, highlights, and explanations. We further assess the taxonomy's usefulness in explanation generation, demonstrating that conditioning generation on LITEX yields explanations that are linguistically closer to human explanations than those generated using only labels or highlights. Our approach thus not only captures within-label variation but also shows how taxonomy-guided generation for reasoning can bridge the gap between human and model explanations more effectively than existing strategies.
- Abstract（参考訳）: 自然言語推論(NLI)では、アノテータが異なるラベルを同じ前提と仮説のペアに割り当てるなど、HLV(Human Label Variation)の証拠が増えている。
しかし、ラベル内のバリエーション-アノテータが同じラベルに同意するが、異なる推論を提供する場合-追加され、ほとんど見過ごされがちな課題となる。
いくつかのNLIデータセットには、説明としてNLI項目で強調された単語が含まれているが、NLI項目のスパンも同様に異なる理由からハイライトすることができる。
この問題を体系的に理解し,NLIラベルの背景にある理論的根拠を把握するために,自由文の説明を分類するための言語学的にインフォームドされた分類法であるLITEXを導入する。
この分類を用いて、e-SNLIデータセットのサブセットに注釈を付け、分類の信頼性を評価し、NLIラベル、ハイライト、説明とどのように一致しているかを分析する。
さらに, LITEXにおける条件付け生成は, ラベルやハイライトのみを用いて生成されたものよりも言語的に人間の説明に近い説明が得られることを示す。
したがって,本手法はラベル内変異を捉えるだけでなく,従来の戦略よりも人的・モデル的説明のギャップをいかに効果的に埋めるかを示す。
関連論文リスト
- Gen-Z: Generative Zero-Shot Text Classification with Contextualized
Label Descriptions [50.92702206798324]
ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。
GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。
データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2023-11-13T07:12:57Z) - Ecologically Valid Explanations for Label Variation in NLI [27.324994764803808]
私たちは、122のMNLI項目に対して、1415の生態学的に有効な説明(注釈者が選択したNLIラベルを説明する)の英語データセットであるLiveNLIを構築します。
LiveNLIの説明は、人々が解釈に基づいて体系的に変化し、ラベル内の変動を強調できることを確認する。
このことは、一般にラベル解釈をナビゲートする上で、説明が重要であることを示唆している。
論文 参考訳（メタデータ） (2023-10-20T22:52:19Z) - HuBERTopic: Enhancing Semantic Representation of HuBERT through
Self-supervision Utilizing Topic Model [62.995175485416]
本稿では,HuBERTのセマンティック表現を豊かにするための新しいアプローチを提案する。
トピックラベルを教師として使用することにより、HuBERTに補助的なトピック分類タスクを追加する。
実験の結果,本手法は,ほとんどのタスクにおいて,ベースラインと同等あるいは優れた性能を達成できることがわかった。
論文 参考訳（メタデータ） (2023-10-06T02:19:09Z) - Description-Enhanced Label Embedding Contrastive Learning for Text
Classification [65.01077813330559]
モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計
テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。
ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
論文 参考訳（メタデータ） (2023-06-15T02:19:34Z) - Interpretable Word Sense Representations via Definition Generation: The
Case of Semantic Change Analysis [3.515619810213763]
本稿では,文脈化された単語の用法を解釈可能な単語と単語感覚表現として自動生成する自然言語定義を提案する。
得られた感覚ラベルが、意味変化分析に既存のアプローチをより解釈可能なものにする方法を実証する。
論文 参考訳（メタデータ） (2023-05-19T20:36:21Z) - Understanding and Predicting Human Label Variation in Natural Language
Inference through Explanation [18.161206115232066]
多様な推論を伴う最初の生態学的に有効な説明データセットであるLiveNLIを作成する。
LiveNLIには、アノテータのハイライトと、122の英語の自然言語推論項目を選択したラベルに対する自由テキストの説明が含まれている。
我々はその説明をチェーン・オブ・シークレット・プロンプトに利用し、GPT-3のラベル分布をテキスト内学習で予測する能力にはまだ改善の余地があることを発見した。
論文 参考訳（メタデータ） (2023-04-24T20:45:09Z) - Semantic Role Labeling Meets Definition Modeling: Using Natural Language
to Describe Predicate-Argument Structures [104.32063681736349]
本稿では,離散ラベルの代わりに自然言語定義を用いて述語-代名詞構造を記述する手法を提案する。
PropBankスタイルおよびFrameNetスタイル、依存性ベースおよびスパンベースSRLに関する実験と分析は、解釈可能な出力を持つフレキシブルモデルが必ずしも性能を犠牲にしないことを示す。
論文 参考訳（メタデータ） (2022-12-02T11:19:16Z) - Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization [80.94424037751243]
ゼロショット多言語抽出テキスト要約では、通常、モデルは英語のデータセットに基づいて訓練され、他の言語の要約データセットに適用される。
本研究では,NLS(Neural Label Search for Summarization)を提案する。
我々はMLSUMとWikiLinguaのデータセット上で多言語ゼロショット要約実験を行い、人間と自動両方の評価を用いて最先端の結果を得る。
論文 参考訳（メタデータ） (2022-04-28T14:02:16Z) - LIREx: Augmenting Language Inference with Relevant Explanation [1.4780878458667916]
自然言語説明(NLE)は、アノテータがラベルをデータインスタンスに割り当てる際の有理性を識別するデータアノテーションの一種である。
nlesは人間の推論をより良く捉えているが、自然言語推論にはあまり役に立たない。
我々は、論理型説明生成器とインスタンスセレクタの両方を組み込んで、関連するNLEのみを選択する新しいフレームワーク LIREx を提案する。
論文 参考訳（メタデータ） (2020-12-16T18:49:29Z) - NILE : Natural Language Inference with Faithful Natural Language
Explanations [10.074153632701952]
ラベル特定説明(NILE)に対する自然言語推論を提案する。
NILEは、ラベル固有の説明を自動生成し、その忠実な説明とともにラベルを作成する新しいNLI手法である。
我々は, NILE の説明の忠実さを, 対応する説明に対する決定の敏感さの観点から論じる。
論文 参考訳（メタデータ） (2020-05-25T13:56:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。