論文の概要: EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification
- arxiv url: http://arxiv.org/abs/2310.09754v2
- Date: Tue, 20 Feb 2024 06:39:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 20:42:42.151686
- Title: EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification
- Title（参考訳）: EX-FEVER:マルチホップ説明可能なファクト検証のためのデータセット
- Authors: Huanhuan Ma and Weizhi Xu and Yifan Wei and Liuji Chen and Liang Wang
and Qiang Liu and Shu Wu and Liang Wang
- Abstract要約: マルチホップで説明可能な事実検証のための先駆的データセットを提案する。
2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。
提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
- 参考スコア（独自算出の注目度）: 23.767003824313328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fact verification aims to automatically probe the veracity of a claim based
on several pieces of evidence. Existing works are always engaging in accuracy
improvement, let alone explainability, a critical capability of fact
verification systems. Constructing an explainable fact verification system in a
complex multi-hop scenario is consistently impeded by the absence of a
relevant, high-quality dataset. Previous datasets either suffer from excessive
simplification or fail to incorporate essential considerations for
explainability. To address this, we present EXFEVER, a pioneering dataset for
multi-hop explainable fact verification. With over 60,000 claims involving
2-hop and 3-hop reasoning, each is created by summarizing and modifying
information from hyperlinked Wikipedia documents. Each instance is accompanied
by a veracity label and an explanation that outlines the reasoning path
supporting the veracity classification. Additionally, we demonstrate a novel
baseline system on our EX-FEVER dataset, showcasing document retrieval,
explanation generation, and claim verification, and validate the significance
of our dataset. Furthermore, we highlight the potential of utilizing Large
Language Models in the fact verification task. We hope our dataset could make a
significant contribution by providing ample opportunities to explore the
integration of natural language explanations in the domain of fact
verification.
- Abstract（参考訳）: 事実検証は、複数の証拠に基づいてクレームの妥当性を自動的に調査することを目的としている。
既存の作業は常に正確性の向上に関わっており、説明可能性や事実検証システムの重要な能力などはもちろんだ。
複雑なマルチホップシナリオで説明可能な事実検証システムを構築することは、関連する高品質なデータセットがないことによって一貫して妨げられる。
以前のデータセットは過剰な単純化に悩まされるか、説明可能性に不可欠な考慮事項を組み込まないかのいずれかである。
これを解決するために,マルチホップで説明可能な事実検証のための先駆的データセットEXFEVERを提案する。
2-hopと3-hopの推論を含む6万以上の主張があり、それぞれがハイパーリンクされたwikipedia文書からの情報を要約し、修正することで作成される。
各インスタンスにはveracityラベルと、veracity分類をサポートする推論パスを概説する説明が添付されている。
さらに,EX-FEVERデータセットに新たなベースラインシステムを導入し,文書検索,説明生成,クレーム検証を行い,データセットの重要性を検証した。
さらに,事実検証タスクにおいて,大規模言語モデルを活用する可能性を強調した。
私たちのデータセットは、事実検証の領域における自然言語の説明の統合を探求する十分な機会を提供することで、大きな貢献を期待しています。
関連論文リスト
- Augmenting the Veracity and Explanations of Complex Fact Checking via Iterative Self-Revision with LLMs [10.449165630417522]
中国ではCHEF-EGとTrendFactという2つの複雑なファクトチェックデータセットを構築している。
これらのデータセットは、健康、政治、社会などの分野で複雑な事実を含む。
妥当性と説明の相互フィードバックを行うための統合フレームワークFactISRを提案する。
論文 参考訳（メタデータ） (2024-10-19T15:25:19Z) - Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳（メタデータ） (2024-10-07T00:09:50Z) - RU22Fact: Optimizing Evidence for Multilingual Explainable Fact-Checking on Russia-Ukraine Conflict [34.2739191920746]
高品質な証拠は、ファクトチェックシステムを強化する上で重要な役割を担っている。
本稿では,Webから証拠を自動的に抽出・要約する大規模言語モデルを提案する。
RU22Factは、ロシアとウクライナの紛争に関する説明可能な事実チェックデータセットであり、16Kサンプルのうち2022年に構築された。
論文 参考訳（メタデータ） (2024-03-25T11:56:29Z) - Explainable Claim Verification via Knowledge-Grounded Reasoning with
Large Language Models [36.91218391728405]
本稿では,FOLK(First-Order-Logic-Guided Knowledge-Grounded Reasoning)を提案する。
複雑なクレームを検証し、注釈付きエビデンスを必要とせずに説明を生成することができる。
実験の結果,FOLKは3つのデータセットに対して高いベースラインを達成できた。
論文 参考訳（メタデータ） (2023-10-08T18:04:05Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳（メタデータ） (2023-05-25T15:01:19Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳（メタデータ） (2023-03-02T17:45:32Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳（メタデータ） (2021-07-05T17:31:44Z) - Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact
Verification [19.130541561303293]
本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。
2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2021-06-02T14:33:12Z) - HoVer: A Dataset for Many-Hop Fact Extraction And Claim Verification [74.66819506353086]
HoVerはマルチホップエビデンス抽出と事実検証のためのデータセットである。
クレームに関連するいくつかのウィキペディア記事から事実を抽出するモデルに挑戦する。
3/4ホップのクレームのほとんどは複数の文で書かれており、長距離依存関係を理解する複雑さが増している。
論文 参考訳（メタデータ） (2020-11-05T20:33:11Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳（メタデータ） (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。