論文の概要: NILE : Natural Language Inference with Faithful Natural Language Explanations

• arxiv url: http://arxiv.org/abs/2005.12116v1
• Date: Mon, 25 May 2020 13:56:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 05:55:23.269349
• Title: NILE : Natural Language Inference with Faithful Natural Language Explanations
• Title（参考訳）: NILE : 忠実な自然言語説明を伴う自然言語推論
• Authors: Sawan Kumar and Partha Talukdar
• Abstract要約: ラベル特定説明(NILE)に対する自然言語推論を提案する。 NILEは、ラベル固有の説明を自動生成し、その忠実な説明とともにラベルを作成する新しいNLI手法である。 我々は, NILE の説明の忠実さを, 対応する説明に対する決定の敏感さの観点から論じる。
• 参考スコア（独自算出の注目度）: 10.074153632701952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent growth in the popularity and success of deep learning models on NLP classification tasks has accompanied the need for generating some form of natural language explanation of the predicted labels. Such generated natural language (NL) explanations are expected to be faithful, i.e., they should correlate well with the model's internal decision making. In this work, we focus on the task of natural language inference (NLI) and address the following question: can we build NLI systems which produce labels with high accuracy, while also generating faithful explanations of its decisions? We propose Natural-language Inference over Label-specific Explanations (NILE), a novel NLI method which utilizes auto-generated label-specific NL explanations to produce labels along with its faithful explanation. We demonstrate NILE's effectiveness over previously reported methods through automated and human evaluation of the produced labels and explanations. Our evaluation of NILE also supports the claim that accurate systems capable of providing testable explanations of their decisions can be designed. We discuss the faithfulness of NILE's explanations in terms of sensitivity of the decisions to the corresponding explanations. We argue that explicit evaluation of faithfulness, in addition to label and explanation accuracy, is an important step in evaluating model's explanations. Further, we demonstrate that task-specific probes are necessary to establish such sensitivity.
• Abstract（参考訳）: NLP分類タスクにおけるディープラーニングモデルの人気と成功の最近の成長は、予測されたラベルのある種の自然言語説明を生成する必要性を伴う。 このような生成された自然言語(NL)の説明は忠実であることが期待される。 本研究では,自然言語推論(NLI)の課題に焦点をあて,高い精度でラベルを生成するNLIシステムを構築するとともに,その決定を忠実に説明できるのか,という課題に対処する。 ラベル特定説明法(NILE)に対する自然言語推論を提案し,その忠実な説明とともにラベルを自動生成するNL説明を用いた新しいNLI法を提案する。 我々は,NILEが以前報告した手法に対して,生成したラベルと説明の自動評価と人為的評価によって有効性を示す。 NILEの評価は、その決定の検証可能な説明を提供することのできる正確なシステムが設計可能であるという主張も支持する。 我々は, NILE の説明の忠実さを, 対応する説明に対する決定の敏感さの観点から論じる。 我々は,忠実性に対する明示的な評価は,ラベルと説明の正確さに加えて,モデルの説明を評価する上で重要なステップであると主張する。 さらに,このような感度を確立するためにはタスク特定プローブが必要であることを実証する。

関連論文リスト

• TAGExplainer: Narrating Graph Explanations for Text-Attributed Graph Learning Models [14.367754016281934]
  本稿では,TAG学習のための自然言語記述法であるTAGExplainerを提案する。 実世界のシナリオにおける注釈付き真実説明の欠如に対処するため,まず,サリエンシに基づく説明からモデルの判断を捉える擬似ラベルを生成することを提案する。 高品質な擬似ラベルを使用して、エンド・ツー・エンドの説明生成モデルを訓練する。
  論文  参考訳（メタデータ） (2024-10-20T03:55:46Z)
• Ecologically Valid Explanations for Label Variation in NLI [27.324994764803808]
  私たちは、122のMNLI項目に対して、1415の生態学的に有効な説明(注釈者が選択したNLIラベルを説明する)の英語データセットであるLiveNLIを構築します。 LiveNLIの説明は、人々が解釈に基づいて体系的に変化し、ラベル内の変動を強調できることを確認する。 このことは、一般にラベル解釈をナビゲートする上で、説明が重要であることを示唆している。
  論文  参考訳（メタデータ） (2023-10-20T22:52:19Z)
• Situated Natural Language Explanations [54.083715161895036]
  自然言語の説明(NLE)は、人間に意思決定を説明する最もアクセスしやすいツールである。 既存のNLE研究の視点は、観客を考慮に入れない。 Situated NLEは視点を提供し、説明の生成と評価に関するさらなる研究を促進する。
  論文  参考訳（メタデータ） (2023-08-27T14:14:28Z)
• Faithfulness Tests for Natural Language Explanations [87.01093277918599]
  ニューラルモデルの説明は、その予測のためのモデルの意思決定プロセスを明らかにすることを目的としている。 近年の研究では,サリエンシマップやファクトファクトファクトダクトなどの説明を行う手法が誤解を招く可能性があることが示されている。 本研究は,自然言語の説明の忠実さを評価する上での課題について考察する。
  論文  参考訳（メタデータ） (2023-05-29T11:40:37Z)
• Understanding and Predicting Human Label Variation in Natural Language Inference through Explanation [18.161206115232066]
  多様な推論を伴う最初の生態学的に有効な説明データセットであるLiveNLIを作成する。 LiveNLIには、アノテータのハイライトと、122の英語の自然言語推論項目を選択したラベルに対する自由テキストの説明が含まれている。 我々はその説明をチェーン・オブ・シークレット・プロンプトに利用し、GPT-3のラベル分布をテキスト内学習で予測する能力にはまだ改善の余地があることを発見した。
  論文  参考訳（メタデータ） (2023-04-24T20:45:09Z)
• Benchmarking Faithfulness: Towards Accurate Natural Language Explanations in Vision-Language Tasks [0.0]
  自然言語の説明(NLE)は、モデルの意思決定を容易に理解可能な方法でコミュニケーション可能にすることを約束する。 現在のモデルは説得力のある説明をうまく生成するが、NLEが実際にモデルの推論過程をいかにうまく表現しているかは未解決の問題である。 帰属相似性(Atribution-Similarity)、NLE-Sufficiency(NLE-Sufficiency)、NLE-Comprehensiveness(NLE-Comprehensiveness)の3つの忠実度指標を提案する。
  論文  参考訳（メタデータ） (2023-04-03T08:24:10Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings [35.2513653224183]
  自然言語推論(NLI)は、常識知識を学習し応用するためのモデルを必要とする。 外部知識が説明能力を向上させることができるかどうかを考察する。 我々はこれまでで最大かつ最もきめ細かいNLIクラウドソーシング研究を行っている。
  論文  参考訳（メタデータ） (2021-09-16T09:56:20Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。