論文の概要: A Benchmark for Open-Domain Numerical Fact-Checking Enhanced by Claim Decomposition

• arxiv url: http://arxiv.org/abs/2510.22055v1
• Date: Fri, 24 Oct 2025 22:37:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.804143
• Title: A Benchmark for Open-Domain Numerical Fact-Checking Enhanced by Claim Decomposition
• Title（参考訳）: クレーム分解による開領域数値Fact-Checkingのベンチマーク
• Authors: V Venktesh, Deepali Prabhu, Avishek Anand,
• Abstract要約: QuanTemp++は、自然の数値的クレーム、オープンドメインコーパスからなるデータセットであり、各クレームに関する関連する証拠がある。 キークレーム分解パラダイムの検索性能を特徴付ける。
• 参考スコア（独自算出の注目度）: 7.910984819642885
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fact-checking numerical claims is critical as the presence of numbers provide mirage of veracity despite being fake potentially causing catastrophic impacts on society. The prior works in automatic fact verification do not primarily focus on natural numerical claims. A typical human fact-checker first retrieves relevant evidence addressing the different numerical aspects of the claim and then reasons about them to predict the veracity of the claim. Hence, the search process of a human fact-checker is a crucial skill that forms the foundation of the verification process. Emulating a real-world setting is essential to aid in the development of automated methods that encompass such skills. However, existing benchmarks employ heuristic claim decomposition approaches augmented with weakly supervised web search to collect evidences for verifying claims. This sometimes results in less relevant evidences and noisy sources with temporal leakage rendering a less realistic retrieval setting for claim verification. Hence, we introduce QuanTemp++: a dataset consisting of natural numerical claims, an open domain corpus, with the corresponding relevant evidence for each claim. The evidences are collected through a claim decomposition process approximately emulating the approach of human fact-checker and veracity labels ensuring there is no temporal leakage. Given this dataset, we also characterize the retrieval performance of key claim decomposition paradigms. Finally, we observe their effect on the outcome of the verification pipeline and draw insights. The code for data pipeline along with link to data can be found at https://github.com/VenkteshV/QuanTemp_Plus
• Abstract（参考訳）: ファクトチェックの数値的な主張は、社会に破滅的な影響をもたらす可能性のある偽物であるにもかかわらず、数字の存在が真正さを誇示しているため、非常に重要である。 自動事実検証における以前の研究は、主に自然数値的な主張に焦点を当てていない。 典型的な人間の事実チェックは、まずクレームの異なる数値的な側面に対処する関連する証拠を回収し、クレームの正確性を予測する理由を導出する。 したがって、人間のファクトチェッカーの検索プロセスは、検証プロセスの基礎となる重要なスキルである。 現実世界の設定をエミュレートすることは、そのようなスキルを含む自動化された手法の開発を支援するために不可欠である。 しかし、既存のベンチマークでは、弱い教師付きWeb検索で強化されたヒューリスティックなクレーム分解アプローチを使用して、クレームを検証するための証拠を収集している。 この結果、時限リークによる証拠やノイズの少ない情報源は、クレーム検証のためのより現実的でない検索設定をレンダリングすることがある。 そこで我々は,自然数値クレームとオープンドメインコーパスからなるデータセットであるQuanTemp++を紹介した。 証拠は、人間の事実チェックと正確性ラベルのアプローチをエミュレートしたクレーム分解プロセスを通じて収集され、時間的漏洩がないことが保証される。 このデータセットから,キークレーム分解パラダイムの検索性能を特徴付ける。 最後に、検証パイプラインの結果に対するそれらの影響を観察し、洞察を引き出す。 データパイプラインのコードとデータへのリンクはhttps://github.com/VenkteshV/QuanTemp_Plusにある。

関連論文リスト

• Retrieve-Refine-Calibrate: A Framework for Complex Claim Fact-Checking [32.6738019397553]
  大規模言語モデル(LLM)に基づくRetrieve-Refine-Calibrate(RRC)フレームワークを提案する。 特に、このフレームワークは、まずクレームに記載されたエンティティを特定し、それらに関連する証拠を検索する。 そして、無関係な情報を減らすためのクレームに基づいて、回収された証拠を精査する。 最後に、信頼性の低い予測を再評価することで検証プロセスを校正する。
  論文  参考訳（メタデータ） (2026-01-23T08:48:52Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• QuanTemp: A real-world open-domain benchmark for fact-checking numerical claims [4.874071145951159]
  QuanTempは数値的なクレームに特化したデータセットです。 我々は,数値クレームの検証作業において,既存の解の限界を評価し,定量化する。
  論文  参考訳（メタデータ） (2024-03-25T20:36:03Z)
• From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
  我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。 本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
  論文  参考訳（メタデータ） (2023-10-18T02:59:38Z)
• Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
  Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
  論文  参考訳（メタデータ） (2023-05-19T17:49:19Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Implicit Temporal Reasoning for Evidence-Based Fact-Checking [14.015789447347466]
  本研究は,証拠に基づく事実検証のクレーム検証プロセスに時間的効果が有意な影響を及ぼすことを示す。 本研究は, 時間情報の存在と, タイムラインの構築方法が, 事実確認モデルが証拠文書の関連性, サポート, 反証性を決定する方法に大きく影響していることを示す。
  論文  参考訳（メタデータ） (2023-02-24T10:48:03Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。