論文の概要: EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification
- arxiv url: http://arxiv.org/abs/2310.09754v2
- Date: Tue, 20 Feb 2024 06:39:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 20:42:42.151686
- Title: EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification
- Title(参考訳): EX-FEVER:マルチホップ説明可能なファクト検証のためのデータセット
- Authors: Huanhuan Ma and Weizhi Xu and Yifan Wei and Liuji Chen and Liang Wang
and Qiang Liu and Shu Wu and Liang Wang
- Abstract要約: マルチホップで説明可能な事実検証のための先駆的データセットを提案する。
2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。
提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
- 参考スコア(独自算出の注目度): 23.767003824313328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fact verification aims to automatically probe the veracity of a claim based
on several pieces of evidence. Existing works are always engaging in accuracy
improvement, let alone explainability, a critical capability of fact
verification systems. Constructing an explainable fact verification system in a
complex multi-hop scenario is consistently impeded by the absence of a
relevant, high-quality dataset. Previous datasets either suffer from excessive
simplification or fail to incorporate essential considerations for
explainability. To address this, we present EXFEVER, a pioneering dataset for
multi-hop explainable fact verification. With over 60,000 claims involving
2-hop and 3-hop reasoning, each is created by summarizing and modifying
information from hyperlinked Wikipedia documents. Each instance is accompanied
by a veracity label and an explanation that outlines the reasoning path
supporting the veracity classification. Additionally, we demonstrate a novel
baseline system on our EX-FEVER dataset, showcasing document retrieval,
explanation generation, and claim verification, and validate the significance
of our dataset. Furthermore, we highlight the potential of utilizing Large
Language Models in the fact verification task. We hope our dataset could make a
significant contribution by providing ample opportunities to explore the
integration of natural language explanations in the domain of fact
verification.
- Abstract(参考訳): 事実検証は、複数の証拠に基づいてクレームの妥当性を自動的に調査することを目的としている。
既存の作業は常に正確性の向上に関わっており、説明可能性や事実検証システムの重要な能力などはもちろんだ。
複雑なマルチホップシナリオで説明可能な事実検証システムを構築することは、関連する高品質なデータセットがないことによって一貫して妨げられる。
以前のデータセットは過剰な単純化に悩まされるか、説明可能性に不可欠な考慮事項を組み込まないかのいずれかである。
これを解決するために,マルチホップで説明可能な事実検証のための先駆的データセットEXFEVERを提案する。
2-hopと3-hopの推論を含む6万以上の主張があり、それぞれがハイパーリンクされたwikipedia文書からの情報を要約し、修正することで作成される。
各インスタンスにはveracityラベルと、veracity分類をサポートする推論パスを概説する説明が添付されている。
さらに,EX-FEVERデータセットに新たなベースラインシステムを導入し,文書検索,説明生成,クレーム検証を行い,データセットの重要性を検証した。
さらに,事実検証タスクにおいて,大規模言語モデルを活用する可能性を強調した。
私たちのデータセットは、事実検証の領域における自然言語の説明の統合を探求する十分な機会を提供することで、大きな貢献を期待しています。
関連論文リスト
- Explainable Claim Verification via Knowledge-Grounded Reasoning with
Large Language Models [36.91218391728405]
本稿では,FOLK(First-Order-Logic-Guided Knowledge-Grounded Reasoning)を提案する。
複雑なクレームを検証し、注釈付きエビデンスを必要とせずに説明を生成することができる。
実験の結果,FOLKは3つのデータセットに対して高いベースラインを達成できた。
論文 参考訳(メタデータ) (2023-10-08T18:04:05Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:01:19Z) - Read it Twice: Towards Faithfully Interpretable Fact Verification by
Revisiting Evidence [59.81749318292707]
本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。
提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
論文 参考訳(メタデータ) (2023-05-02T03:23:14Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳(メタデータ) (2023-03-02T17:45:32Z) - End-to-End Multimodal Fact-Checking and Explanation Generation: A
Challenging Dataset and Models [0.0]
エンドツーエンドのファクトチェックと説明生成を提案する。
目標は、主張の真理性を評価することであり、関連する証拠を取得し、真理性ラベルを予測することである。
この研究を支援するために15,601クレームからなる大規模データセットであるMochegを構築した。
論文 参考訳(メタデータ) (2022-05-25T04:36:46Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳(メタデータ) (2021-07-05T17:31:44Z) - Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact
Verification [19.130541561303293]
本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。
2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
論文 参考訳(メタデータ) (2021-06-02T14:33:12Z) - HoVer: A Dataset for Many-Hop Fact Extraction And Claim Verification [74.66819506353086]
HoVerはマルチホップエビデンス抽出と事実検証のためのデータセットである。
クレームに関連するいくつかのウィキペディア記事から事実を抽出するモデルに挑戦する。
3/4ホップのクレームのほとんどは複数の文で書かれており、長距離依存関係を理解する複雑さが増している。
論文 参考訳(メタデータ) (2020-11-05T20:33:11Z) - DeSePtion: Dual Sequence Prediction and Adversarial Examples for
Improved Fact-Checking [46.13738685855884]
ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。
文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。
その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
論文 参考訳(メタデータ) (2020-04-27T15:18:49Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。