論文の概要: FactIR: A Real-World Zero-shot Open-Domain Retrieval Benchmark for Fact-Checking

• arxiv url: http://arxiv.org/abs/2502.06006v1
• Date: Sun, 09 Feb 2025 19:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:29:04.909218
• Title: FactIR: A Real-World Zero-shot Open-Domain Retrieval Benchmark for Fact-Checking
• Title（参考訳）: FactIR: Fact-Checkingのための実世界のゼロショットオープンドメイン検索ベンチマーク
• Authors: Venktesh V, Vinay Setty,
• Abstract要約: 自動化されたファクトチェックの分野は、現実のシナリオにおけるクレームの正確性を決定するために、Webベースの証拠を取得することにますます依存している。 従来の検索手法では、クレームに直接対処する文書を返したり、それらをサポートするために傾いたりすることができるが、間接的推論を必要とするより複雑なクレームに悩まされることがしばしばある。 人間のアノテーションで拡張されたFactiverseプロダクションログから派生した実世界のベンチマークFactIRを提案する。
• 参考スコア（独自算出の注目度）: 3.1537425078180625
• License:
• Abstract: The field of automated fact-checking increasingly depends on retrieving web-based evidence to determine the veracity of claims in real-world scenarios. A significant challenge in this process is not only retrieving relevant information, but also identifying evidence that can both support and refute complex claims. Traditional retrieval methods may return documents that directly address claims or lean toward supporting them, but often struggle with more complex claims requiring indirect reasoning. While some existing benchmarks and methods target retrieval for fact-checking, a comprehensive real-world open-domain benchmark has been lacking. In this paper, we present a real-world retrieval benchmark FactIR, derived from Factiverse production logs, enhanced with human annotations. We rigorously evaluate state-of-the-art retrieval models in a zero-shot setup on FactIR and offer insights for developing practical retrieval systems for fact-checking. Code and data are available at https://github.com/factiverse/factIR.
• Abstract（参考訳）: 自動化されたファクトチェックの分野は、現実のシナリオにおけるクレームの正確性を決定するために、Webベースの証拠を取得することにますます依存している。 このプロセスにおける重要な課題は、関連する情報を取得することだけでなく、複雑なクレームをサポートし、反証できる証拠を識別することである。 従来の検索手法では、クレームに直接対処する文書を返したり、それらをサポートするために傾いたりすることができるが、間接的推論を必要とするより複雑なクレームに悩まされることがしばしばある。 既存のベンチマークやメソッドはファクトチェックの検索をターゲットとしているが、包括的な実世界のオープンドメインベンチマークは不足している。 本稿では,人間のアノテーションで拡張されたFactiverse生産ログから得られた実世界の検索ベンチマークFactIRを提案する。 我々はFactIR上のゼロショット設定で最先端検索モデルを厳格に評価し、ファクトチェックのための実用的な検索システムを構築するための洞察を提供する。 コードとデータはhttps://github.com/factiverse/factIRで公開されている。

関連論文リスト

• Face the Facts! Evaluating RAG-based Fact-checking Pipelines in Realistic Settings [14.355271969637139]
  この作業は、Retrieval-Augmented Generationパラダイムに基づいた自動ファクトチェックのための現在の最先端パイプラインのいくつかの制約を取り上げる。 我々のゴールは、より現実的なシナリオの下で、予測の生成のためのRAGベースのメソッドをベンチマークすることです。
  論文  参考訳（メタデータ） (2024-12-19T18:57:11Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments [23.639378586798884]
  コントラスト引数の合成による検索拡張現実事実検証を提案する。 提案手法は,関連文書を証拠として効果的に検索し,様々な視点から議論を評価する。 RAFTS は GPT 法よりはるかに小さい 7B LLM で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-06-14T08:13:34Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• QuanTemp: A real-world open-domain benchmark for fact-checking numerical claims [4.874071145951159]
  QuanTempは数値的なクレームに特化したデータセットです。 我々は,数値クレームの検証作業において,既存の解の限界を評価し,定量化する。
  論文  参考訳（メタデータ） (2024-03-25T20:36:03Z)
• Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
  本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。 オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。 予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
  論文  参考訳（メタデータ） (2023-11-15T14:41:57Z)
• Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
  Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
  論文  参考訳（メタデータ） (2023-05-19T17:49:19Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。