論文の概要: Ecologically Valid Explanations for Label Variation in NLI

• arxiv url: http://arxiv.org/abs/2310.13850v1
• Date: Fri, 20 Oct 2023 22:52:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 05:00:55.511235
• Title: Ecologically Valid Explanations for Label Variation in NLI
• Title（参考訳）: NLIにおけるラベル変動の生態学的検証
• Authors: Nan-Jiang Jiang, Chenhao Tan, Marie-Catherine de Marneffe
• Abstract要約: 私たちは、122のMNLI項目に対して、1415の生態学的に有効な説明(注釈者が選択したNLIラベルを説明する)の英語データセットであるLiveNLIを構築します。 LiveNLIの説明は、人々が解釈に基づいて体系的に変化し、ラベル内の変動を強調できることを確認する。 このことは、一般にラベル解釈をナビゲートする上で、説明が重要であることを示唆している。
• 参考スコア（独自算出の注目度）: 27.324994764803808
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Human label variation, or annotation disagreement, exists in many natural language processing (NLP) tasks, including natural language inference (NLI). To gain direct evidence of how NLI label variation arises, we build LiveNLI, an English dataset of 1,415 ecologically valid explanations (annotators explain the NLI labels they chose) for 122 MNLI items (at least 10 explanations per item). The LiveNLI explanations confirm that people can systematically vary on their interpretation and highlight within-label variation: annotators sometimes choose the same label for different reasons. This suggests that explanations are crucial for navigating label interpretations in general. We few-shot prompt large language models to generate explanations but the results are inconsistent: they sometimes produces valid and informative explanations, but it also generates implausible ones that do not support the label, highlighting directions for improvement.
• Abstract（参考訳）: 人間のラベルのバリエーション、あるいはアノテーションの不一致は、自然言語推論(NLI)を含む多くの自然言語処理(NLP)タスクに存在する。 NLIラベルの変動の直接的な証拠を得るため、122のMNLI項目(少なくとも1項目あたり10の説明)について、1415の生態学的に有効な説明(注釈者がNLIラベルを説明している)の英データセットであるLiveNLIを構築した。 LiveNLIの説明は、人々が解釈に基づいて体系的に変化し、ラベル内の変動を強調できることを確認している。 これは、一般にラベル解釈をナビゲートする上で、説明が重要であることを示唆している。 我々は、大規模な言語モデルに説明を生成するよう促すが、結果は矛盾している: 有効で情報的な説明をしばしば生成するが、ラベルをサポートしない、改善の方向性を強調している不確実なものも生成する。

関連論文リスト

• VariErr NLI: Separating Annotation Error from Human Label Variation [23.392480595432676]
  系統的手法と新しいデータセットであるVariErr(変分対エラー)を導入する。 VariErr は 500 個の再注釈された MNLI 項目について 1,933 個の説明に対して 7,732 個の妥当性判断を下している。 現状のAID法はGPTと人間を著しく過小評価している。
  論文  参考訳（メタデータ） (2024-03-04T10:57:14Z)
• Gen-Z: Generative Zero-Shot Text Classification with Contextualized Label Descriptions [50.92702206798324]
  ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。 GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。 データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T07:12:57Z)
• Symbol tuning improves in-context learning in language models [144.58397538701803]
  In-context input-label pairs におけるシンボルチューニング - 言語モデルを微調整する。 記号チューニングは、モデルが命令や自然言語ラベルを使ってタスクを把握できない場合、代わりに入力ラベルのマッピングを学習しなければならないという直感を利用する。 シンボルチューニングは、目に見えないコンテキスト内学習タスクのパフォーマンスを向上し、不特定なプロンプトに対してより堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-05-15T01:59:58Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Understanding and Predicting Human Label Variation in Natural Language Inference through Explanation [18.161206115232066]
  多様な推論を伴う最初の生態学的に有効な説明データセットであるLiveNLIを作成する。 LiveNLIには、アノテータのハイライトと、122の英語の自然言語推論項目を選択したラベルに対する自由テキストの説明が含まれている。 我々はその説明をチェーン・オブ・シークレット・プロンプトに利用し、GPT-3のラベル分布をテキスト内学習で予測する能力にはまだ改善の余地があることを発見した。
  論文  参考訳（メタデータ） (2023-04-24T20:45:09Z)
• Investigating Reasons for Disagreement in Natural Language Inference [9.002603216969154]
  3つのハイレベルクラスにまたがる相違点の分類法を開発した。 いくつかの相違は文の意味の不確実性によるものであり、アノテータバイアスやタスクアーティファクトによるものである。 潜在的な不一致のある項目を検出するための2つのモデリング手法について検討する。
  論文  参考訳（メタデータ） (2022-09-07T18:01:39Z)
• VALUE: Understanding Dialect Disparity in NLU [50.35526025326337]
  アフリカ・アメリカン・バーナクラ・イングリッシュ(AAVE)の11つの特徴に関するルールを構築した。 言語的アクセプタビリティ判断により,各特徴変換の検証を行うために,流線型AAVE話者を募集する。 実験により、これらの新しい方言の特徴がモデル性能の低下につながることが示された。
  論文  参考訳（メタデータ） (2022-04-06T18:30:56Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• LIREx: Augmenting Language Inference with Relevant Explanation [1.4780878458667916]
  自然言語説明(NLE)は、アノテータがラベルをデータインスタンスに割り当てる際の有理性を識別するデータアノテーションの一種である。 nlesは人間の推論をより良く捉えているが、自然言語推論にはあまり役に立たない。 我々は、論理型説明生成器とインスタンスセレクタの両方を組み込んで、関連するNLEのみを選択する新しいフレームワーク LIREx を提案する。
  論文  参考訳（メタデータ） (2020-12-16T18:49:29Z)
• NILE : Natural Language Inference with Faithful Natural Language Explanations [10.074153632701952]
  ラベル特定説明(NILE)に対する自然言語推論を提案する。 NILEは、ラベル固有の説明を自動生成し、その忠実な説明とともにラベルを作成する新しいNLI手法である。 我々は, NILE の説明の忠実さを, 対応する説明に対する決定の敏感さの観点から論じる。
  論文  参考訳（メタデータ） (2020-05-25T13:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。