Fugu-MT 論文翻訳(概要): Evidence-based Interpretable Open-domain Fact-checking with Large Language Models

論文の概要: Evidence-based Interpretable Open-domain Fact-checking with Large Language Models

arxiv url: http://arxiv.org/abs/2312.05834v1
Date: Sun, 10 Dec 2023 09:27:50 GMT
ステータス: 処理完了
システム内更新日: 2023-12-12 18:27:46.440520
Title: Evidence-based Interpretable Open-domain Fact-checking with Large Language Models
Title（参考訳）: 大規模言語モデルを用いたエビデンスに基づくオープンドメインファクトチェック
Authors: Xin Tan, Bowei Zou and Ai Ti Aw
Abstract要約: 実世界のシナリオにおけるクレームチェックのためのオープンドメイン説明可能なFact-checking(OE-Fact)システムについて紹介する。 OE-Factシステムは、大規模言語モデル(LLM)の強力な理解と推論能力を利用してクレームを検証できる。 OE-Fact システムは,クローズドドメインとオープンドメインの両方のシナリオにおいて,一般的なファクトチェックベースラインシステムより優れていることを示す。
参考スコア（独自算出の注目度）: 26.89527395822654
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Universal fact-checking systems for real-world claims face significant challenges in gathering valid and sufficient real-time evidence and making reasoned decisions. In this work, we introduce the Open-domain Explainable Fact-checking (OE-Fact) system for claim-checking in real-world scenarios. The OE-Fact system can leverage the powerful understanding and reasoning capabilities of large language models (LLMs) to validate claims and generate causal explanations for fact-checking decisions. To adapt the traditional three-module fact-checking framework to the open domain setting, we first retrieve claim-related information as relevant evidence from open websites. After that, we retain the evidence relevant to the claim through LLM and similarity calculation for subsequent verification. We evaluate the performance of our adapted three-module OE-Fact system on the Fact Extraction and Verification (FEVER) dataset. Experimental results show that our OE-Fact system outperforms general fact-checking baseline systems in both closed- and open-domain scenarios, ensuring stable and accurate verdicts while providing concise and convincing real-time explanations for fact-checking decisions.
Abstract（参考訳）: 現実の主張に対する普遍的なファクトチェックシステムは、有効かつ十分なリアルタイムの証拠を集め、合理的な判断を下す上で大きな課題に直面している。本稿では,実世界シナリオにおけるクレームチェックのためのオープンドメイン説明可能な事実チェックシステム(oe-fact)を提案する。 OE-Factシステムは、大規模言語モデル(LLM)の強力な理解と推論能力を活用して、クレームを検証し、ファクトチェック決定のための因果説明を生成する。従来の3モジュールファクトチェックフレームワークをオープンドメイン設定に適応させるために,まず,オープンwebサイトからクレーム関連情報を適切な証拠として取得する。その後、llmおよびその後の検証のための類似性計算により、請求に係る証拠を保持する。我々は、ファクト抽出および検証(fever)データセット上での3モジュールoeファクトシステムの性能を評価する。実験結果から,我々のOE-Factシステムは,クローズドドメインとオープンドメインの両方のシナリオにおいて,一般的なファクトチェックベースラインシステムよりも優れた性能を示し,信頼性と正確性を確保しつつ,ファクトチェック決定のための簡潔かつ説得力のあるリアルタイム説明を提供する。

関連論文リスト

FactIR: A Real-World Zero-shot Open-Domain Retrieval Benchmark for Fact-Checking [3.1537425078180625]
自動化されたファクトチェックの分野は、現実のシナリオにおけるクレームの正確性を決定するために、Webベースの証拠を取得することにますます依存している。従来の検索手法では、クレームに直接対処する文書を返したり、それらをサポートするために傾いたりすることができるが、間接的推論を必要とするより複雑なクレームに悩まされることがしばしばある。人間のアノテーションで拡張されたFactiverseプロダクションログから派生した実世界のベンチマークFactIRを提案する。
論文参考訳（メタデータ） (2025-02-09T19:51:00Z)
ZeFaV: Boosting Large Language Models for Zero-shot Fact Verification [2.6874004806796523]
ZeFaVはゼロショットベースのファクトチェック検証フレームワークで、大規模な言語モデルのファクト検証タスクのパフォーマンスを向上させる。我々は,HoVerとFEVEROUSを含む2つのマルチホップファクトチェックデータセットに対するアプローチを実証実験により評価した。
論文参考訳（メタデータ） (2024-11-18T02:35:15Z)
Augmenting the Veracity and Explanations of Complex Fact Checking via Iterative Self-Revision with LLMs [10.449165630417522]
中国ではCHEF-EGとTrendFactという2つの複雑なファクトチェックデータセットを構築している。これらのデータセットは、健康、政治、社会などの分野で複雑な事実を含む。妥当性と説明の相互フィードバックを行うための統合フレームワークFactISRを提案する。
論文参考訳（メタデータ） (2024-10-19T15:25:19Z)
OpenFactCheck: Building, Benchmarking Customized Fact-Checking Systems and Evaluating the Factuality of Claims and LLMs [27.89053798151106]
OpenFactCheckは、カスタマイズされたファクトチェックシステムを構築するためのフレームワークである。ユーザーは自動的にファクトチェッカーをカスタマイズし、文書やクレームの事実的正当性を検証できる。 CheckerEVALは、人間の注釈付きデータセットを使用して、自動ファクトチェッカーの検証結果の信頼性を高めるソリューションである。
論文参考訳（メタデータ） (2024-05-09T07:15:19Z)
RU22Fact: Optimizing Evidence for Multilingual Explainable Fact-Checking on Russia-Ukraine Conflict [34.2739191920746]
高品質な証拠は、ファクトチェックシステムを強化する上で重要な役割を担っている。本稿では,Webから証拠を自動的に抽出・要約する大規模言語モデルを提案する。 RU22Factは、ロシアとウクライナの紛争に関する説明可能な事実チェックデータセットであり、16Kサンプルのうち2022年に構築された。
論文参考訳（メタデータ） (2024-03-25T11:56:29Z)
Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文参考訳（メタデータ） (2023-11-15T14:41:57Z)
Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文参考訳（メタデータ） (2023-05-25T15:01:19Z)
WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文参考訳（メタデータ） (2023-03-02T17:45:32Z)
CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
論文参考訳（メタデータ） (2022-06-06T09:11:03Z)
DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
論文参考訳（メタデータ） (2020-04-27T15:18:49Z)
Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。