論文の概要: Verification and Refinement of Natural Language Explanations through LLM-Symbolic Theorem Proving

• arxiv url: http://arxiv.org/abs/2405.01379v4
• Date: Fri, 11 Oct 2024 11:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:28:46.975741
• Title: Verification and Refinement of Natural Language Explanations through LLM-Symbolic Theorem Proving
• Title（参考訳）: LLM-Symbolic Theoremによる自然言語説明の検証と再定義
• Authors: Xin Quan, Marco Valentino, Louise A. Dennis, André Freitas,
• Abstract要約: 本稿では,Large Language Models(LLMs)とTheorem Provers(TPs)の統合による自然言語説明の検証と改善について検討する。 本稿では, TPとLPMを統合して説明文の生成と定式化を行う, Explanation-Refiner というニューロシンボリック・フレームワークを提案する。 代わりに、TPは説明の論理的妥当性を公式に保証し、その後の改善のためのフィードバックを生成するために使用される。
• 参考スコア（独自算出の注目度）: 13.485604499678262
• License:
• Abstract: Natural language explanations represent a proxy for evaluating explanation-based and multi-step Natural Language Inference (NLI) models. However, assessing the validity of explanations for NLI is challenging as it typically involves the crowd-sourcing of apposite datasets, a process that is time-consuming and prone to logical errors. To address existing limitations, this paper investigates the verification and refinement of natural language explanations through the integration of Large Language Models (LLMs) and Theorem Provers (TPs). Specifically, we present a neuro-symbolic framework, named Explanation-Refiner, that integrates TPs with LLMs to generate and formalise explanatory sentences and suggest potential inference strategies for NLI. In turn, the TP is employed to provide formal guarantees on the logical validity of the explanations and to generate feedback for subsequent improvements. We demonstrate how Explanation-Refiner can be jointly used to evaluate explanatory reasoning, autoformalisation, and error correction mechanisms of state-of-the-art LLMs as well as to automatically enhance the quality of explanations of variable complexity in different domains.
• Abstract（参考訳）: 自然言語の説明は、説明に基づく多段階自然言語推論(NLI)モデルを評価するためのプロキシである。 しかしながら、NLIの説明の妥当性を評価することは、一般的には、時間をかけて論理的エラーを起こすプロセスである、アポサイトデータセットのクラウドソーシングを伴うため、難しい。 本稿では,Large Language Models (LLMs) と Theorem Provers (TPs) を統合した自然言語説明の検証と改善について検討する。 具体的には,説明文の生成と形式化のためにTPをLLMと統合し,NLIの潜在的な推論戦略を提案する,Explanation-Refinerというニューロシンボリック・フレームワークを提案する。 代わりに、TPは説明の論理的妥当性を公式に保証し、その後の改善のためのフィードバックを生成するために使用される。 本稿では, 説明的推論, 自己形式化, 誤り訂正機構の検証にExplanation-Refinerを併用し, 異なる領域における可変複雑性の説明の質を自動的に向上させる方法について述べる。

関連論文リスト

• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• Reasoning with Natural Language Explanations [15.281385727331473]
  説明は人間の合理性の根幹をなす特徴であり、学習と一般化を支えている。 自然言語推論(NLI)の研究は、学習や推論において説明が果たす役割を再考し始めている。
  論文  参考訳（メタデータ） (2024-10-05T13:15:24Z)
• Inductive Learning of Logical Theories with LLMs: A Complexity-graded Analysis [9.865771016218549]
  本研究は,Large Language Models(LLM)の機能と限界を分析するための,新しい体系的方法論を提案する。 この分析は、LLM性能に関する特定の推論課題の定量化を可能にする、複雑性グレードのw.r.t.ルール依存構造である。
  論文  参考訳（メタデータ） (2024-08-15T16:41:00Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
  大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。 これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。 自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• Enhancing Ethical Explanations of Large Language Models through Iterative Symbolic Refinement [5.108863224378874]
  本稿では,ハイブリッド・ニューロシンボリック・テクニックが倫理的説明の論理的妥当性とアライメントをいかに向上させるかを検討する。 本稿では,大規模言語モデルと外部の後方鎖型ソルバを統合した導出型フレームワーク Logic-Explainer を提案する。 経験的分析により、Logic-Explainerは、コンテキスト内学習法とChain-of-Thoughtを通じて生成された説明を改善することができることを示した。
  論文  参考訳（メタデータ） (2024-02-01T16:39:51Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Do Natural Language Explanations Represent Valid Logical Arguments? Verifying Entailment in Explainable NLI Gold Standards [0.0]
  説明可能なNLPの研究の新興ラインは、人間の注釈付き説明と合理性に富むデータセットの作成である。 人間の注釈付き説明は推論の根拠として使用されるが、それらの一貫性と厳密さの体系的な評価の欠如がある。 本論文では,ヒトの注釈付き説明の論理的妥当性を定量化するために,系統的アノテーション手法である説明関連検証(EEV)を提案する。
  論文  参考訳（メタデータ） (2021-05-05T10:59:26Z)
• A Formal Language Approach to Explaining RNNs [6.624726878647541]
  本稿では、線形時間論理(LTL)と呼ばれる形式記述言語を用いて、リカレントニューラルネットワーク(RNN)の意思決定を説明するためのフレームワークであるLEXRを提案する。 LEXRの説明は、RNNから決定論的有限オートマトンを抽出する最近のアルゴリズムで生成されるものよりも正確で理解しやすい。
  論文  参考訳（メタデータ） (2020-06-12T16:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。