Fugu-MT 論文翻訳(概要): Robust Claim Verification Through Fact Detection

論文の概要: Robust Claim Verification Through Fact Detection

arxiv url: http://arxiv.org/abs/2407.18367v1
Date: Thu, 25 Jul 2024 20:03:43 GMT
ステータス: 処理完了
システム内更新日: 2024-07-29 15:09:00.950764
Title: Robust Claim Verification Through Fact Detection
Title（参考訳）: ファクト検出によるロバストなクレームの検証
Authors: Nazanin Jafari, James Allan,
Abstract要約: 我々の新しいアプローチであるFactDetectは、大規模言語モデル(LLM)を利用して、証拠から簡潔な事実文を生成する。生成された事実は、クレームとエビデンスと組み合わせられる。提案手法は,F1スコアにおいて,教師付きクレーム検証モデルにおいて,15%の競合結果を示す。
参考スコア（独自算出の注目度）: 17.29665711917281
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Claim verification can be a challenging task. In this paper, we present a method to enhance the robustness and reasoning capabilities of automated claim verification through the extraction of short facts from evidence. Our novel approach, FactDetect, leverages Large Language Models (LLMs) to generate concise factual statements from evidence and label these facts based on their semantic relevance to the claim and evidence. The generated facts are then combined with the claim and evidence. To train a lightweight supervised model, we incorporate a fact-detection task into the claim verification process as a multitasking approach to improve both performance and explainability. We also show that augmenting FactDetect in the claim verification prompt enhances performance in zero-shot claim verification using LLMs. Our method demonstrates competitive results in the supervised claim verification model by 15% on the F1 score when evaluated for challenging scientific claim verification datasets. We also demonstrate that FactDetect can be augmented with claim and evidence for zero-shot prompting (AugFactDetect) in LLMs for verdict prediction. We show that AugFactDetect outperforms the baseline with statistical significance on three challenging scientific claim verification datasets with an average of 17.3% performance gain compared to the best performing baselines.
Abstract（参考訳）: クレーム検証は難しい作業です。本稿では,証拠から短い事実を抽出することで,自動クレーム検証の堅牢性と推論能力を向上させる手法を提案する。我々の新しいアプローチであるFactDetectは、Large Language Models(LLM)を活用して、証拠から簡潔な事実文を生成し、その主張と証拠に対する意味的関連性に基づいてこれらの事実をラベル付けします。生成された事実は、クレームとエビデンスと組み合わせられる。軽量な教師付きモデルを訓練するために,クレーム検証プロセスにファクト検出タスクを組み込んで,性能と説明可能性の両方を改善するマルチタスク手法を提案する。また,FactDetectを付加することで,LCMを用いたゼロショットクレーム検証の性能が向上することを示す。本手法は, 科学的クレーム検証データセットの評価において, F1 スコアで 15% の制御されたクレーム検証モデルにおいて, 競合する結果を実証する。また,FactDetect を LLM におけるゼロショットプロンプト(AugFactDetect) のクレームとエビデンスで拡張し,予測できることを示す。 AugFactDetectは3つの挑戦的な科学的クレーム検証データセットにおいて、最高のパフォーマンスベースラインに比べて平均17.3%のパフォーマンス向上率でベースラインを統計的に上回ることを示す。

関連論文リスト

ZeFaV: Boosting Large Language Models for Zero-shot Fact Verification [2.6874004806796523]
ZeFaVはゼロショットベースのファクトチェック検証フレームワークで、大規模な言語モデルのファクト検証タスクのパフォーマンスを向上させる。我々は,HoVerとFEVEROUSを含む2つのマルチホップファクトチェックデータセットに対するアプローチを実証実験により評価した。
論文参考訳（メタデータ） (2024-11-18T02:35:15Z)
FactLens: Benchmarking Fine-Grained Fact Verification [6.814173254027381]
我々は、複雑なクレームを個別の検証のためにより小さなサブステートに分割する、きめ細かい検証へのシフトを提唱する。我々は,ファクトレンス(FactLens)という,ファクトレンス(FactLens)という,詳細な事実検証のベンチマークを紹介した。この結果から,FactLens自動評価器と人的判断との整合性を示し,評価性能に対する準定値特性の影響について考察した。
論文参考訳（メタデータ） (2024-11-08T21:26:57Z)
Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。マルチモーダルエビデンス検索のための新しい手法を提案する。
論文参考訳（メタデータ） (2024-07-19T13:57:11Z)
RU22Fact: Optimizing Evidence for Multilingual Explainable Fact-Checking on Russia-Ukraine Conflict [34.2739191920746]
高品質な証拠は、ファクトチェックシステムを強化する上で重要な役割を担っている。本稿では,Webから証拠を自動的に抽出・要約する大規模言語モデルを提案する。 RU22Factは、ロシアとウクライナの紛争に関する説明可能な事実チェックデータセットであり、16Kサンプルのうち2022年に構築された。
論文参考訳（メタデータ） (2024-03-25T11:56:29Z)
Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文参考訳（メタデータ） (2023-05-25T15:01:19Z)
Read it Twice: Towards Faithfully Interpretable Fact Verification by Revisiting Evidence [59.81749318292707]
本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
論文参考訳（メタデータ） (2023-05-02T03:23:14Z)
Generating Scientific Claims for Zero-Shot Scientific Fact Checking [54.62086027306609]
科学言語の複雑さと大量のトレーニングデータが不足しているため、自動科学的事実チェックは困難である。科学的な文から1つ以上の原子的かつ検証可能なクレームを生成するための科学的クレーム生成を提案する。また, バイオメディカルクレームのゼロショット事実チェックにも有用であることを示す。
論文参考訳（メタデータ） (2022-03-24T11:29:20Z)
A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
論文参考訳（メタデータ） (2021-06-02T05:40:12Z)
AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文参考訳（メタデータ） (2021-04-01T17:40:08Z)
Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。