論文の概要: FIRE: Fact-checking with Iterative Retrieval and Verification

• arxiv url: http://arxiv.org/abs/2411.00784v1
• Date: Thu, 17 Oct 2024 06:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 13:03:27.135656
• Title: FIRE: Fact-checking with Iterative Retrieval and Verification
• Title（参考訳）: FIRE:反復検索と検証によるFact-checking
• Authors: Zhuohan Xie, Rui Xing, Yuxia Wang, Jiahui Geng, Hasan Iqbal, Dhruv Sahnan, Iryna Gurevych, Preslav Nakov,
• Abstract要約: FIREはエビデンス検索とクレーム検証を反復的に統合する新しいフレームワークである。 大きな言語モデル(LLM)のコストを平均7.6倍、検索コストを16.5倍削減しながら、パフォーマンスが若干向上している。 これらの結果から,FIREは大規模ファクトチェック業務における適用を約束していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 63.67320352038525
• License:
• Abstract: Fact-checking long-form text is challenging, and it is therefore common practice to break it down into multiple atomic claims. The typical approach to fact-checking these atomic claims involves retrieving a fixed number of pieces of evidence, followed by a verification step. However, this method is usually not cost-effective, as it underutilizes the verification model's internal knowledge of the claim and fails to replicate the iterative reasoning process in human search strategies. To address these limitations, we propose FIRE, a novel agent-based framework that integrates evidence retrieval and claim verification in an iterative manner. Specifically, FIRE employs a unified mechanism to decide whether to provide a final answer or generate a subsequent search query, based on its confidence in the current judgment. We compare FIRE with other strong fact-checking frameworks and find that it achieves slightly better performance while reducing large language model (LLM) costs by an average of 7.6 times and search costs by 16.5 times. These results indicate that FIRE holds promise for application in large-scale fact-checking operations. Our code is available at https://github.com/mbzuai-nlp/fire.git.
• Abstract（参考訳）: Fact-checking long-form text は難しいため、複数のアトミックなクレームに分解するのが一般的である。 これらの原子のクレームをファクトチェックする典型的なアプローチは、一定の数の証拠を回収し、次に検証するステップである。 しかし、この手法は、検証モデルのクレームに関する内部知識を未利用にしており、人間の検索戦略において反復的推論プロセスの再現に失敗するため、コスト効率が低いことが多い。 これらの制約に対処するために,証拠検索とクレーム検証を反復的に統合する新しいエージェントベースのフレームワークであるFIREを提案する。 具体的には、FIREは、最終的な回答を提供するか、あるいはその後の検索クエリを生成するかを決定するための統一的なメカニズムを現在の判断に対する信頼性に基づいて採用する。 FIREを他の強力なファクトチェックフレームワークと比較した結果,大規模言語モデル(LLM)のコストを平均7.6倍削減し,検索コストを16.5倍削減した。 これらの結果から,FIREは大規模ファクトチェック業務における適用を約束していることが明らかとなった。 私たちのコードはhttps://github.com/mbzuai-nlp/fire.git.comで公開されています。

関連論文リスト

• Atomic Fact Decomposition Helps Attributed Question Answering [30.75332718824254]
  Attributed Question Answering (AQA)は、質問に対する信頼できる回答と信頼できる属性レポートを提供することを目的としている。 本稿では,アトミックな事実分解に基づくRetrieval and Editingフレームワークを提案する。 生成した長文の回答を、命令調整されたLSMによって分子節と原子事実に分解する。
  論文  参考訳（メタデータ） (2024-10-22T05:25:54Z)
• SparseCL: Sparse Contrastive Learning for Contradiction Retrieval [87.02936971689817]
  コントラディション検索(Contradiction Search)とは、クエリの内容に明示的に異を唱える文書を識別し、抽出することである。 類似性探索やクロスエンコーダモデルといった既存の手法には、大きな制限がある。 文間の微妙で矛盾したニュアンスを保存するために特別に訓練された文埋め込みを利用するSparseCLを導入する。
  論文  参考訳（メタデータ） (2024-06-15T21:57:03Z)
• CONFLARE: CONFormal LArge language model REtrieval [0.0]
  Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。 RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。 本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-04T02:58:21Z)
• From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
  Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。 本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。 実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
  論文  参考訳（メタデータ） (2023-10-22T16:07:06Z)
• Harnessing Abstractive Summarization for Fact-Checked Claim Detection [8.49182897482236]
  ソーシャルメディアプラットフォームは、反社会的要素の新たな戦場となり、誤った情報が選択の武器となっている。 この解決策は、ファクトチェックのライフサイクルを部分的に自動化し、高い認知を必要とするタスクに人間の時間を節約することにある、と私たちは信じています。 本稿では,抽象的な要約を用いたクェリを効率的に検出し,クェリを生成するワークフローを提案する。
  論文  参考訳（メタデータ） (2022-09-10T07:32:36Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。