論文の概要: A Benchmark for Open-Domain Numerical Fact-Checking Enhanced by Claim Decomposition

• arxiv url: http://arxiv.org/abs/2510.22055v1
• Date: Fri, 24 Oct 2025 22:37:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.804143
• Title: A Benchmark for Open-Domain Numerical Fact-Checking Enhanced by Claim Decomposition
• Title（参考訳）: クレーム分解による開領域数値Fact-Checkingのベンチマーク
• Authors: V Venktesh, Deepali Prabhu, Avishek Anand,
• Abstract要約: QuanTemp++は、自然の数値的クレーム、オープンドメインコーパスからなるデータセットであり、各クレームに関する関連する証拠がある。 キークレーム分解パラダイムの検索性能を特徴付ける。
• 参考スコア（独自算出の注目度）: 7.910984819642885
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fact-checking numerical claims is critical as the presence of numbers provide mirage of veracity despite being fake potentially causing catastrophic impacts on society. The prior works in automatic fact verification do not primarily focus on natural numerical claims. A typical human fact-checker first retrieves relevant evidence addressing the different numerical aspects of the claim and then reasons about them to predict the veracity of the claim. Hence, the search process of a human fact-checker is a crucial skill that forms the foundation of the verification process. Emulating a real-world setting is essential to aid in the development of automated methods that encompass such skills. However, existing benchmarks employ heuristic claim decomposition approaches augmented with weakly supervised web search to collect evidences for verifying claims. This sometimes results in less relevant evidences and noisy sources with temporal leakage rendering a less realistic retrieval setting for claim verification. Hence, we introduce QuanTemp++: a dataset consisting of natural numerical claims, an open domain corpus, with the corresponding relevant evidence for each claim. The evidences are collected through a claim decomposition process approximately emulating the approach of human fact-checker and veracity labels ensuring there is no temporal leakage. Given this dataset, we also characterize the retrieval performance of key claim decomposition paradigms. Finally, we observe their effect on the outcome of the verification pipeline and draw insights. The code for data pipeline along with link to data can be found at https://github.com/VenkteshV/QuanTemp_Plus
• Abstract（参考訳）: ファクトチェックの数値的な主張は、社会に破滅的な影響をもたらす可能性のある偽物であるにもかかわらず、数字の存在が真正さを誇示しているため、非常に重要である。 自動事実検証における以前の研究は、主に自然数値的な主張に焦点を当てていない。 典型的な人間の事実チェックは、まずクレームの異なる数値的な側面に対処する関連する証拠を回収し、クレームの正確性を予測する理由を導出する。 したがって、人間のファクトチェッカーの検索プロセスは、検証プロセスの基礎となる重要なスキルである。 現実世界の設定をエミュレートすることは、そのようなスキルを含む自動化された手法の開発を支援するために不可欠である。 しかし、既存のベンチマークでは、弱い教師付きWeb検索で強化されたヒューリスティックなクレーム分解アプローチを使用して、クレームを検証するための証拠を収集している。 この結果、時限リークによる証拠やノイズの少ない情報源は、クレーム検証のためのより現実的でない検索設定をレンダリングすることがある。 そこで我々は,自然数値クレームとオープンドメインコーパスからなるデータセットであるQuanTemp++を紹介した。 証拠は、人間の事実チェックと正確性ラベルのアプローチをエミュレートしたクレーム分解プロセスを通じて収集され、時間的漏洩がないことが保証される。 このデータセットから,キークレーム分解パラダイムの検索性能を特徴付ける。 最後に、検証パイプラインの結果に対するそれらの影響を観察し、洞察を引き出す。 データパイプラインのコードとデータへのリンクはhttps://github.com/VenkteshV/QuanTemp_Plusにある。

関連論文リスト

• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• QuanTemp: A real-world open-domain benchmark for fact-checking numerical claims [4.874071145951159]
  QuanTempは数値的なクレームに特化したデータセットです。 我々は,数値クレームの検証作業において,既存の解の限界を評価し,定量化する。
  論文  参考訳（メタデータ） (2024-03-25T20:36:03Z)
• From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
  我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。 本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
  論文  参考訳（メタデータ） (2023-10-18T02:59:38Z)
• Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
  Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
  論文  参考訳（メタデータ） (2023-05-19T17:49:19Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。