論文の概要: Do Natural Language Explanations Represent Valid Logical Arguments? Verifying Entailment in Explainable NLI Gold Standards

• arxiv url: http://arxiv.org/abs/2105.01974v1
• Date: Wed, 5 May 2021 10:59:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 12:59:32.994349
• Title: Do Natural Language Explanations Represent Valid Logical Arguments? Verifying Entailment in Explainable NLI Gold Standards
• Title（参考訳）: 自然言語の説明は論理的問題を表すか? 説明可能なNLIゴールド標準の検証
• Authors: Marco Valentino, Ian Pratt-Hartman, Andr\'e Freitas
• Abstract要約: 説明可能なNLPの研究の新興ラインは、人間の注釈付き説明と合理性に富むデータセットの作成である。 人間の注釈付き説明は推論の根拠として使用されるが、それらの一貫性と厳密さの体系的な評価の欠如がある。 本論文では,ヒトの注釈付き説明の論理的妥当性を定量化するために,系統的アノテーション手法である説明関連検証(EEV)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An emerging line of research in Explainable NLP is the creation of datasets enriched with human-annotated explanations and rationales, used to build and evaluate models with step-wise inference and explanation generation capabilities. While human-annotated explanations are used as ground-truth for the inference, there is a lack of systematic assessment of their consistency and rigour. In an attempt to provide a critical quality assessment of Explanation Gold Standards (XGSs) for NLI, we propose a systematic annotation methodology, named Explanation Entailment Verification (EEV), to quantify the logical validity of human-annotated explanations. The application of EEV on three mainstream datasets reveals the surprising conclusion that a majority of the explanations, while appearing coherent on the surface, represent logically invalid arguments, ranging from being incomplete to containing clearly identifiable logical errors. This conclusion confirms that the inferential properties of explanations are still poorly formalised and understood, and that additional work on this line of research is necessary to improve the way Explanation Gold Standards are constructed.
• Abstract（参考訳）: Explainable NLPにおける新たな研究のラインは、ステップワイズ推論と説明生成機能を備えたモデルの構築と評価に使用される、人間のアノテーションによる説明と合理性に富んだデータセットの作成である。 人間の注釈による説明は推論の根拠として用いられるが、その一貫性と厳密さに関する体系的な評価が欠如している。 我々は,NLIにおける説明金基準(XGS)の批判的品質評価を行うため,人手による説明の論理的妥当性を定量化するために,説明細則検証(EEV)と呼ばれる体系的アノテーション手法を提案する。 主要な3つのデータセットへのeevの適用は、表面上で一貫性のある説明のほとんどが、不完全であることから明確に識別可能な論理エラーを含むことまで、論理的に無効な議論を表しているという驚くべき結論を示している。 この結論は、説明の推論的性質がいまだに十分に定式化され、理解されていないこと、また、説明金本位制の構築方法を改善するためには、この研究線に関する追加的な研究が必要であることを確認している。

関連論文リスト

• Reasoning with Natural Language Explanations [15.281385727331473]
  説明は人間の合理性の根幹をなす特徴であり、学習と一般化を支えている。 自然言語推論(NLI)の研究は、学習や推論において説明が果たす役割を再考し始めている。
  論文  参考訳（メタデータ） (2024-10-05T13:15:24Z)
• Verification and Refinement of Natural Language Explanations through LLM-Symbolic Theorem Proving [13.485604499678262]
  本稿では,Large Language Models(LLMs)とTheorem Provers(TPs)の統合による自然言語説明の検証と改善について検討する。 本稿では, TPとLPMを統合して説明文の生成と定式化を行う, Explanation-Refiner というニューロシンボリック・フレームワークを提案する。 代わりに、TPは説明の論理的妥当性を公式に保証し、その後の改善のためのフィードバックを生成するために使用される。
  論文  参考訳（メタデータ） (2024-05-02T15:20:01Z)
• Inference to the Best Explanation in Large Language Models [6.037970847418495]
  Inference to the Best Explanation (IBE) に関する哲学的な記述から着想を得た IBE-Eval を提案する。 IBE-Evalは、明示的な論理的特徴と言語的特徴を組み合わせることで、自然言語の説明の妥当性を推定する。 実験の結果、IBE-Evalは77%の精度で最良の説明を特定できることがわかった。
  論文  参考訳（メタデータ） (2024-02-16T15:41:23Z)
• Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement [92.61557711360652]
  言語モデル(LM)は、しばしば帰納的推論に不足する。 我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。 本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
  論文  参考訳（メタデータ） (2023-10-12T17:51:10Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)
• RES: A Robust Framework for Guiding Visual Explanation [8.835733039270364]
  本研究では,不正確な境界,不完全領域,不整合なアノテーションの分布を扱う新しい目的を開発することにより,視覚的説明を導くための枠組みを提案する。 2つの実世界の画像データセットに対する実験は、説明の理性およびバックボーンモデルの性能を向上させる上で、提案フレームワークの有効性を実証している。
  論文  参考訳（メタデータ） (2022-06-27T16:06:27Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• Diagnostics-Guided Explanation Generation [32.97930902104502]
  説明は機械学習モデルの合理性に光を当て、推論プロセスにおける欠陥の特定に役立ちます。 文レベルの説明を生成するためにモデルを訓練する際、いくつかの診断特性を最適化する方法を示す。
  論文  参考訳（メタデータ） (2021-09-08T16:27:52Z)
• Local Explanation of Dialogue Response Generation [77.68077106724522]
  反応生成の局所的説明(LERG)は、生成モデルの推論過程に関する洞察を得るために提案される。 LERGは、シーケンス予測を人間の応答の不確実性推定とみなし、入力を摂動させ、人間の応答に対する確実性の変化を計算することによって説明を作成する。 提案手法は, 提案手法を改良し, 提案手法の4.4～12.8%を改良した。
  論文  参考訳（メタデータ） (2021-06-11T17:58:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。