論文の概要: Verification and Refinement of Natural Language Explanations through LLM-Symbolic Theorem Proving
- arxiv url: http://arxiv.org/abs/2405.01379v1
- Date: Thu, 2 May 2024 15:20:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 16:05:24.807032
- Title: Verification and Refinement of Natural Language Explanations through LLM-Symbolic Theorem Proving
- Title(参考訳): LLM-Symbolic Theoremによる自然言語説明の検証と再定義
- Authors: Xin Quan, Marco Valentino, Louise A. Dennis, André Freitas,
- Abstract要約: 本稿では,Large Language Models(LLMs)とTheorem Provers(TPs)の統合による自然言語説明の検証と改善について検討する。
本稿では, 説明文の生成と形式化のために, LLMを用いてTPを増強する, Explanation-Refinerというニューロシンボリック・フレームワークを提案する。
代わりに、TPは説明の論理的妥当性を公式に保証し、その後の改善のためのフィードバックを生成するために使用される。
- 参考スコア(独自算出の注目度): 13.485604499678262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language explanations have become a proxy for evaluating explainable and multi-step Natural Language Inference (NLI) models. However, assessing the validity of explanations for NLI is challenging as it typically involves the crowd-sourcing of apposite datasets, a process that is time-consuming and prone to logical errors. To address existing limitations, this paper investigates the verification and refinement of natural language explanations through the integration of Large Language Models (LLMs) and Theorem Provers (TPs). Specifically, we present a neuro-symbolic framework, named Explanation-Refiner, that augments a TP with LLMs to generate and formalise explanatory sentences and suggest potential inference strategies for NLI. In turn, the TP is employed to provide formal guarantees on the logical validity of the explanations and to generate feedback for subsequent improvements. We demonstrate how Explanation-Refiner can be jointly used to evaluate explanatory reasoning, autoformalisation, and error correction mechanisms of state-of-the-art LLMs as well as to automatically enhance the quality of human-annotated explanations of variable complexity in different domains.
- Abstract(参考訳): 自然言語の説明は、説明可能な多段階の自然言語推論(NLI)モデルを評価するためのプロキシとなっている。
しかしながら、NLIの説明の妥当性を評価することは、一般的には、時間をかけて論理的エラーを起こすプロセスである、アポサイトデータセットのクラウドソーシングを伴うため、難しい。
本稿では,Large Language Models (LLMs) と Theorem Provers (TPs) を統合した自然言語説明の検証と改善について検討する。
具体的には、説明文の生成と形式化、NLIの潜在的な推論戦略を提案するために、LPMによるTPを増強するExplanation-Refinerというニューロシンボリックなフレームワークを提案する。
代わりに、TPは説明の論理的妥当性を公式に保証し、その後の改善のためのフィードバックを生成するために使用される。
本研究では, 説明的推論, 自己形式化, 誤り訂正機構の評価を共同で行うこと, および, 異なる領域における可変複雑性の人為的な説明の質を自動的に向上させることを実証する。
関連論文リスト
- Can LLMs Produce Faithful Explanations For Fact-checking? Towards
Faithful Explainable Fact-Checking via Multi-Agent Debate [75.10515686215177]
大規模言語モデル(LLM)はテキスト生成に優れるが、事実チェックにおいて忠実な説明を生成する能力は依然として過小評価されている。
多様な役割を持つエージェントとして複数のLSMを利用するマルチエージェント・デベート・リファインメント(MADR)フレームワークを提案する。
MADRは、最終的な説明が厳密な検証を行い、不誠実な要素の可能性を著しく低減し、提示された証拠と密接に一致させることを保証する。
論文 参考訳(メタデータ) (2024-02-12T04:32:33Z) - FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。
これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。
自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - Enhancing Ethical Explanations of Large Language Models through
Iterative Symbolic Refinement [5.108863224378874]
本稿では,ハイブリッド・ニューロシンボリック・テクニックが倫理的説明の論理的妥当性とアライメントをいかに向上させるかを検討する。
本稿では,大規模言語モデルと外部の後方鎖型ソルバを統合した導出型フレームワーク Logic-Explainer を提案する。
経験的分析により、Logic-Explainerは、コンテキスト内学習法とChain-of-Thoughtを通じて生成された説明を改善することができることを示した。
論文 参考訳(メタデータ) (2024-02-01T16:39:51Z) - Logic-Scaffolding: Personalized Aspect-Instructed Recommendation
Explanation Generation using LLMs [20.446594942586604]
我々は、アスペクトベースの説明とチェーン・オブ・思想のアイデアを組み合わせて、中間的推論ステップを通じて説明を生成するLogic-Scaffoldingというフレームワークを提案する。
本稿では,フレームワーク構築の経験を共有し,その結果を探索するためのインタラクティブなデモンストレーションを行う。
論文 参考訳(メタデータ) (2023-12-22T00:30:10Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Explanation-aware Soft Ensemble Empowers Large Language Model In-context
Learning [50.00090601424348]
大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。
我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
論文 参考訳(メタデータ) (2023-11-13T06:13:38Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z) - Do Natural Language Explanations Represent Valid Logical Arguments?
Verifying Entailment in Explainable NLI Gold Standards [0.0]
説明可能なNLPの研究の新興ラインは、人間の注釈付き説明と合理性に富むデータセットの作成である。
人間の注釈付き説明は推論の根拠として使用されるが、それらの一貫性と厳密さの体系的な評価の欠如がある。
本論文では,ヒトの注釈付き説明の論理的妥当性を定量化するために,系統的アノテーション手法である説明関連検証(EEV)を提案する。
論文 参考訳(メタデータ) (2021-05-05T10:59:26Z) - Towards Interpretable Natural Language Understanding with Explanations
as Latent Variables [146.83882632854485]
そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。
我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
論文 参考訳(メタデータ) (2020-10-24T02:05:56Z) - A Formal Language Approach to Explaining RNNs [6.624726878647541]
本稿では、線形時間論理(LTL)と呼ばれる形式記述言語を用いて、リカレントニューラルネットワーク(RNN)の意思決定を説明するためのフレームワークであるLEXRを提案する。
LEXRの説明は、RNNから決定論的有限オートマトンを抽出する最近のアルゴリズムで生成されるものよりも正確で理解しやすい。
論文 参考訳(メタデータ) (2020-06-12T16:17:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。