論文の概要: Explainable Claim Verification via Knowledge-Grounded Reasoning with
Large Language Models
- arxiv url: http://arxiv.org/abs/2310.05253v2
- Date: Fri, 20 Oct 2023 02:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 02:35:25.658540
- Title: Explainable Claim Verification via Knowledge-Grounded Reasoning with
Large Language Models
- Title(参考訳): 大規模言語モデルを用いた知識付き推論による説明可能なクレーム検証
- Authors: Haoran Wang, Kai Shu
- Abstract要約: 本稿では,FOLK(First-Order-Logic-Guided Knowledge-Grounded Reasoning)を提案する。
複雑なクレームを検証し、注釈付きエビデンスを必要とせずに説明を生成することができる。
実験の結果,FOLKは3つのデータセットに対して高いベースラインを達成できた。
- 参考スコア(独自算出の注目度): 36.91218391728405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Claim verification plays a crucial role in combating misinformation. While
existing works on claim verification have shown promising results, a crucial
piece of the puzzle that remains unsolved is to understand how to verify claims
without relying on human-annotated data, which is expensive to create at a
large scale. Additionally, it is important for models to provide comprehensive
explanations that can justify their decisions and assist human fact-checkers.
This paper presents First-Order-Logic-Guided Knowledge-Grounded (FOLK)
Reasoning that can verify complex claims and generate explanations without the
need for annotated evidence using Large Language Models (LLMs). FOLK leverages
the in-context learning ability of LLMs to translate the claim into a
First-Order-Logic (FOL) clause consisting of predicates, each corresponding to
a sub-claim that needs to be verified. Then, FOLK performs FOL-Guided reasoning
over a set of knowledge-grounded question-and-answer pairs to make veracity
predictions and generate explanations to justify its decision-making process.
This process makes our model highly explanatory, providing clear explanations
of its reasoning process in human-readable form. Our experiment results
indicate that FOLK outperforms strong baselines on three datasets encompassing
various claim verification challenges. Our code and data are available.
- Abstract(参考訳): クレーム検証は誤報と戦う上で重要な役割を果たす。
クレーム検証に関する既存の研究は有望な結果を示しているが、未解決のままのパズルの重要なピースは、大規模な作成に費用がかかる人手によるデータに頼ることなくクレームを検証する方法を理解することである。
さらに、モデルが決定を正当化し、人間のファクトチェックを支援する包括的な説明を提供することも重要である。
本稿では,Large Language Models (LLMs) を用いた注釈付きエビデンスを必要とせず,複雑なクレームを検証し,説明を生成できる一階述語論理型知識収集(FOLK)推論を提案する。
FOLKは、LLMの文脈内学習能力を活用して、検証が必要なサブステートメントに対応する述語からなる一階述語論理(FOL)節に変換する。
次に、FOLKは、知識に基づく質問と回答のペアのセットに対してFOL-Guided推論を行い、正確性予測を行い、その意思決定プロセスを正当化するための説明を生成する。
このプロセスは我々のモデルを非常に説明しやすくし、その推論過程を人間の読みやすい形で明確に説明する。
実験の結果,FOLKは,様々なクレーム検証課題を含む3つのデータセットに対して高いベースラインを達成できた。
私たちのコードとデータは利用可能です。
関連論文リスト
- Can LLMs Produce Faithful Explanations For Fact-checking? Towards
Faithful Explainable Fact-Checking via Multi-Agent Debate [75.10515686215177]
大規模言語モデル(LLM)はテキスト生成に優れるが、事実チェックにおいて忠実な説明を生成する能力は依然として過小評価されている。
多様な役割を持つエージェントとして複数のLSMを利用するマルチエージェント・デベート・リファインメント(MADR)フレームワークを提案する。
MADRは、最終的な説明が厳密な検証を行い、不誠実な要素の可能性を著しく低減し、提示された証拠と密接に一致させることを保証する。
論文 参考訳(メタデータ) (2024-02-12T04:32:33Z) - Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - A Closer Look at the Self-Verification Abilities of Large Language
Models in Logical Reasoning [79.14479982371984]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - Knowledge-Augmented Language Model Verification [68.6099592486075]
最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。
本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。
その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
論文 参考訳(メタデータ) (2023-10-19T15:40:00Z) - EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification [23.767003824313328]
マルチホップで説明可能な事実検証のための先駆的データセットを提案する。
2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。
提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
論文 参考訳(メタデータ) (2023-10-15T06:46:15Z) - ExClaim: Explainable Neural Claim Verification Using Rationalization [8.369720566612111]
ExClaimは、基礎的な証拠を含む説明可能なクレーム検証システムを提供しようとしている。
法体系にインスパイアされたExClaimは、合理化を活用して、請求に対する評決を提供する。
統計的および説明可能なAI(XAI)の評価は、有効で信頼性の高い結果を保証するために行われる。
論文 参考訳(メタデータ) (2023-01-21T08:26:27Z) - Hierarchical Evidence Set Modeling for Automated Fact Extraction and
Verification [5.836068916903788]
階層的エビデンス・セット・モデリング(Heerarchical Evidence Set Modeling, HESM)は、エビデンス・セットを抽出し、サポート対象のクレームを検証するためのフレームワークである。
実験の結果,HESMは事実抽出とクレーム検証の7つの最先端手法より優れていた。
論文 参考訳(メタデータ) (2020-10-10T22:27:17Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。