論文の概要: Understanding and Predicting Human Label Variation in Natural Language Inference through Explanation

• arxiv url: http://arxiv.org/abs/2304.12443v1
• Date: Mon, 24 Apr 2023 20:45:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 22:47:25.709278
• Title: Understanding and Predicting Human Label Variation in Natural Language Inference through Explanation
• Title（参考訳）: 自然言語推論における人間のラベル変異の理解と予測
• Authors: Nan-Jiang Jiang, Chenhao Tan, Marie-Catherine de Marneffe
• Abstract要約: 多様な推論を伴う最初の生態学的に有効な説明データセットであるLiveNLIを作成する。 LiveNLIには、アノテータのハイライトと、122の英語の自然言語推論項目を選択したラベルに対する自由テキストの説明が含まれている。 我々はその説明をチェーン・オブ・シークレット・プロンプトに利用し、GPT-3のラベル分布をテキスト内学習で予測する能力にはまだ改善の余地があることを発見した。
• 参考スコア（独自算出の注目度）: 18.161206115232066
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Human label variation (Plank 2022), or annotation disagreement, exists in many natural language processing (NLP) tasks. To be robust and trusted, NLP models need to identify such variation and be able to explain it. To this end, we created the first ecologically valid explanation dataset with diverse reasoning, LiveNLI. LiveNLI contains annotators' highlights and free-text explanations for the label(s) of their choice for 122 English Natural Language Inference items, each with at least 10 annotations. We used its explanations for chain-of-thought prompting, and found there is still room for improvement in GPT-3's ability to predict label distribution with in-context learning.
• Abstract（参考訳）: ヒトのラベルの変異(plank 2022)またはアノテーションの不一致は多くの自然言語処理(nlp)タスクに存在する。 堅牢で信頼できるためには、NLPモデルはそのようなバリエーションを特定し、それを説明できる必要がある。 そこで我々は,多様な推論を用いた生態学的に有効な説明データセットLiveNLIを開発した。 LiveNLIには、アノテータのハイライトと、少なくとも10のアノテーションを持つ122の英語自然言語推論項目のラベルに関する自由テキストの説明が含まれている。 その説明を思考連鎖プロンプトに用いた結果,gpt-3の文脈内学習によるラベル分布予測能力にはまだ改善の余地があることが分かった。

関連論文リスト

• TAGExplainer: Narrating Graph Explanations for Text-Attributed Graph Learning Models [14.367754016281934]
  本稿では,TAG学習のための自然言語記述法であるTAGExplainerを提案する。 実世界のシナリオにおける注釈付き真実説明の欠如に対処するため,まず,サリエンシに基づく説明からモデルの判断を捉える擬似ラベルを生成することを提案する。 高品質な擬似ラベルを使用して、エンド・ツー・エンドの説明生成モデルを訓練する。
  論文  参考訳（メタデータ） (2024-10-20T03:55:46Z)
• A Taxonomy of Ambiguity Types for NLP [53.10379645698917]
  NLP分析を容易にするために,英語で見られるあいまいさの分類法を提案する。 私たちの分類学は、言語あいまいさデータにおいて意味のある分割を実現するのに役立ち、データセットとモデルパフォーマンスのよりきめ細かい評価を可能にします。
  論文  参考訳（メタデータ） (2024-03-21T01:47:22Z)
• Gen-Z: Generative Zero-Shot Text Classification with Contextualized Label Descriptions [50.92702206798324]
  ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。 GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。 データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T07:12:57Z)
• Ecologically Valid Explanations for Label Variation in NLI [27.324994764803808]
  私たちは、122のMNLI項目に対して、1415の生態学的に有効な説明(注釈者が選択したNLIラベルを説明する)の英語データセットであるLiveNLIを構築します。 LiveNLIの説明は、人々が解釈に基づいて体系的に変化し、ラベル内の変動を強調できることを確認する。 このことは、一般にラベル解釈をナビゲートする上で、説明が重要であることを示唆している。
  論文  参考訳（メタデータ） (2023-10-20T22:52:19Z)
• FLamE: Few-shot Learning from Natural Language Explanations [12.496665033682202]
  本稿では,自然言語の説明から学習するフレームワークFLamEを紹介する。 自然言語推論の実験は、強いベースラインに対する効果を示す。 人間の評価は、生成した説明の大多数が適切に分類決定を正当化していないことを驚くほど明らかにしている。
  論文  参考訳（メタデータ） (2023-06-13T18:01:46Z)
• Symbol tuning improves in-context learning in language models [144.58397538701803]
  In-context input-label pairs におけるシンボルチューニング - 言語モデルを微調整する。 記号チューニングは、モデルが命令や自然言語ラベルを使ってタスクを把握できない場合、代わりに入力ラベルのマッピングを学習しなければならないという直感を利用する。 シンボルチューニングは、目に見えないコンテキスト内学習タスクのパフォーマンスを向上し、不特定なプロンプトに対してより堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-05-15T01:59:58Z)
• Investigating Reasons for Disagreement in Natural Language Inference [9.002603216969154]
  3つのハイレベルクラスにまたがる相違点の分類法を開発した。 いくつかの相違は文の意味の不確実性によるものであり、アノテータバイアスやタスクアーティファクトによるものである。 潜在的な不一致のある項目を検出するための2つのモデリング手法について検討する。
  論文  参考訳（メタデータ） (2022-09-07T18:01:39Z)
• VALUE: Understanding Dialect Disparity in NLU [50.35526025326337]
  アフリカ・アメリカン・バーナクラ・イングリッシュ(AAVE)の11つの特徴に関するルールを構築した。 言語的アクセプタビリティ判断により,各特徴変換の検証を行うために,流線型AAVE話者を募集する。 実験により、これらの新しい方言の特徴がモデル性能の低下につながることが示された。
  論文  参考訳（メタデータ） (2022-04-06T18:30:56Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
  本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。 ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。 意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
  論文  参考訳（メタデータ） (2020-09-22T01:02:07Z)
• NILE : Natural Language Inference with Faithful Natural Language Explanations [10.074153632701952]
  ラベル特定説明(NILE)に対する自然言語推論を提案する。 NILEは、ラベル固有の説明を自動生成し、その忠実な説明とともにラベルを作成する新しいNLI手法である。 我々は, NILE の説明の忠実さを, 対応する説明に対する決定の敏感さの観点から論じる。
  論文  参考訳（メタデータ） (2020-05-25T13:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。