論文の概要: EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification
- arxiv url: http://arxiv.org/abs/2310.09754v3
- Date: Fri, 14 Jun 2024 08:10:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 19:53:15.374059
- Title: EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification
- Title（参考訳）: EX-FEVER:マルチホップ説明可能なファクト検証のためのデータセット
- Authors: Huanhuan Ma, Weizhi Xu, Yifan Wei, Liuji Chen, Liang Wang, Qiang Liu, Shu Wu, Liang Wang,
- Abstract要約: マルチホップで説明可能な事実検証のための先駆的データセットを提案する。
2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。
提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
- 参考スコア（独自算出の注目度）: 22.785622371421876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fact verification aims to automatically probe the veracity of a claim based on several pieces of evidence. Existing works are always engaging in accuracy improvement, let alone explainability, a critical capability of fact verification systems. Constructing an explainable fact verification system in a complex multi-hop scenario is consistently impeded by the absence of a relevant, high-quality dataset. Previous datasets either suffer from excessive simplification or fail to incorporate essential considerations for explainability. To address this, we present EXFEVER, a pioneering dataset for multi-hop explainable fact verification. With over 60,000 claims involving 2-hop and 3-hop reasoning, each is created by summarizing and modifying information from hyperlinked Wikipedia documents. Each instance is accompanied by a veracity label and an explanation that outlines the reasoning path supporting the veracity classification. Additionally, we demonstrate a novel baseline system on our EX-FEVER dataset, showcasing document retrieval, explanation generation, and claim verification, and validate the significance of our dataset. Furthermore, we highlight the potential of utilizing Large Language Models in the fact verification task. We hope our dataset could make a significant contribution by providing ample opportunities to explore the integration of natural language explanations in the domain of fact verification.
- Abstract（参考訳）: ファクト検証は、いくつかの証拠に基づいてクレームの正確性を自動的に調査することを目的としている。
既存の作業は常に、事実検証システムの重要な能力である説明可能性だけでなく、精度の向上に取り組んでいます。
複雑なマルチホップシナリオで説明可能な事実検証システムを構築することは、関連する高品質なデータセットが欠如していることによって、一貫して妨げられている。
以前のデータセットは、過剰な単純化に悩まされるか、説明可能性に不可欠な考慮事項を組み込まないかのいずれかである。
これを解決するために,マルチホップで説明可能な事実検証のための先駆的データセットであるEXFEVERを提案する。
2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。
各インスタンスには、妥当性ラベルと、妥当性分類をサポートする推論パスの概要を記載した説明が添付されている。
さらに,EX-FEVERデータセットに新たなベースラインシステムを導入し,文書検索,説明生成,クレーム検証を行い,データセットの重要性を検証した。
さらに,事実検証タスクにおいて,大規模言語モデルを活用する可能性を強調した。
私たちのデータセットは、事実検証の領域における自然言語の説明の統合を探求する十分な機会を提供することで、大きな貢献を期待しています。
関連論文リスト
- Augmenting the Veracity and Explanations of Complex Fact Checking via Iterative Self-Revision with LLMs [10.449165630417522]
中国ではCHEF-EGとTrendFactという2つの複雑なファクトチェックデータセットを構築している。
これらのデータセットは、健康、政治、社会などの分野で複雑な事実を含む。
妥当性と説明の相互フィードバックを行うための統合フレームワークFactISRを提案する。
論文 参考訳（メタデータ） (2024-10-19T15:25:19Z) - Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳（メタデータ） (2024-10-07T00:09:50Z) - RU22Fact: Optimizing Evidence for Multilingual Explainable Fact-Checking on Russia-Ukraine Conflict [34.2739191920746]
高品質な証拠は、ファクトチェックシステムを強化する上で重要な役割を担っている。
本稿では,Webから証拠を自動的に抽出・要約する大規模言語モデルを提案する。
RU22Factは、ロシアとウクライナの紛争に関する説明可能な事実チェックデータセットであり、16Kサンプルのうち2022年に構築された。
論文 参考訳（メタデータ） (2024-03-25T11:56:29Z) - Explainable Claim Verification via Knowledge-Grounded Reasoning with
Large Language Models [36.91218391728405]
本稿では,FOLK(First-Order-Logic-Guided Knowledge-Grounded Reasoning)を提案する。
複雑なクレームを検証し、注釈付きエビデンスを必要とせずに説明を生成することができる。
実験の結果,FOLKは3つのデータセットに対して高いベースラインを達成できた。
論文 参考訳（メタデータ） (2023-10-08T18:04:05Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳（メタデータ） (2023-05-25T15:01:19Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳（メタデータ） (2023-03-02T17:45:32Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳（メタデータ） (2021-07-05T17:31:44Z) - Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact
Verification [19.130541561303293]
本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。
2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2021-06-02T14:33:12Z) - HoVer: A Dataset for Many-Hop Fact Extraction And Claim Verification [74.66819506353086]
HoVerはマルチホップエビデンス抽出と事実検証のためのデータセットである。
クレームに関連するいくつかのウィキペディア記事から事実を抽出するモデルに挑戦する。
3/4ホップのクレームのほとんどは複数の文で書かれており、長距離依存関係を理解する複雑さが増している。
論文 参考訳（メタデータ） (2020-11-05T20:33:11Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳（メタデータ） (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。