論文の概要: From Articles to Premises: Building PrimeFacts, an Extraction Methodology and Resource for Fact-Checking Evidence
- arxiv url: http://arxiv.org/abs/2605.06006v1
- Date: Thu, 07 May 2026 10:58:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.709802
- Title: From Articles to Premises: Building PrimeFacts, an Extraction Methodology and Resource for Fact-Checking Evidence
- Title(参考訳): プライムファクトの構築とFact-Checkingエビデンスのための抽出方法と資源
- Authors: Premtim Sahitaj, Jawan Kolanowski, Ariana Sahitaj, Veronika Solopova, Max Upravitelev, Daniel Röder, Iffat Maab, Junichi Yamagishi, Sebastian Möller, Vera Schmitt,
- Abstract要約: PrimeFactsは、完全な事実チェック記事からきめ細かい証拠を抽出する方法論である。
我々は13,106のPoitiFact記事にクレーム、評決、およびすべての参照ソースをまとめる。
私たちのフレームワークは、アンカー文をスタンドアローンでコンテキストに依存しない前提に書き直します。
- 参考スコア(独自算出の注目度): 27.242475349674155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fact-checking articles encode rich supporting evidence and reasoning, yet this evidence remains largely inaccessible to automated verification systems due to unstructured presentation. We introduce PrimeFacts, a methodology and resource for extracting fine-grained evidence from full fact-checking articles. We compile 13,106 PolitiFact articles with claims, verdicts, and all referenced sources, and we identify 49,718 in-article hyperlinks as natural anchors to pinpoint key evidence. Our framework leverages large language models (LLMs) to rewrite these anchor sentences into stand-alone, context-independent premises and investigates the extraction of additional implicit evidence. In evaluations on cross-article evidence retrieval and claim verification, the extracted premises substantially improve performance. Decontextualized evidence yields higher retrievability, achieving up to a 30 percent relative gain in Mean Reciprocal Rank over verbatim sentences, and using the evidence for verdict prediction raises Macro-F1 by 10-20 points over the baseline. These gains are consistent across different verdict granularities (2-class vs. 5-class) and model architectures. A qualitative analysis indicates that the decontextualized premises remain faithful to the original sources. Our work highlights the promise of reusing fact-checkers' evidence for automation and provides a large-scale resource of structured evidence from real-world fact-checks.
- Abstract(参考訳): Fact-checking article encodeen rich support evidence and reasoning しかし、この証拠は、構造化されていないプレゼンテーションのため、自動検証システムにはほとんどアクセスできない。
完全事実確認記事から詳細な証拠を抽出するための方法論と資源であるPrimeFactsを紹介する。
我々は13,106のPoitiFact記事にクレーム、評定、およびすべての参考資料をまとめ、49,718個の内包ハイパーリンクをキー証拠をピンポイントする自然なアンカーとして同定する。
我々のフレームワークは大規模言語モデル(LLM)を活用して、これらのアンカー文を独立した文脈に依存しない前提に書き換え、付加的な暗黙的証拠の抽出を調査する。
クロスアーティクルエビデンス検索とクレーム検証の評価において,抽出された施設の性能は著しく向上した。
デコンテクライズド・エビデンス(decontextualized evidence)は、検索可能性を高め、動詞の文よりも平均相反ランクが最大30%向上し、検証予測のエビデンスを使用することで、マクロ-F1はベースライン上で10-20ポイント上昇する。
これらの利得は、異なる検証の粒度(2クラス対5クラス)とモデルアーキテクチャに一貫性がある。
質的な分析は、非コンテクスト化された前提が元の情報源に忠実であることを示している。
我々の研究は、ファクトチェッカーの自動化に関する証拠を再利用することの約束を強調し、現実世界のファクトチェッカーから構造化された証拠の大規模リソースを提供する。
関連論文リスト
- FactAppeal: Identifying Epistemic Factual Appeals in News Media [1.6822770693792826]
疫学的上訴の特定は、事実が外部の資料や証拠によって固定されているかどうかを特定する。
本稿では,3,226の英語ニュース文を手動で注釈付けしたデータセットであるFactAppealを紹介する。
論文 参考訳(メタデータ) (2025-10-12T14:14:54Z) - From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。
本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
論文 参考訳(メタデータ) (2023-10-18T02:59:38Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:01:19Z) - Read it Twice: Towards Faithfully Interpretable Fact Verification by
Revisiting Evidence [59.81749318292707]
本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。
提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
論文 参考訳(メタデータ) (2023-05-02T03:23:14Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z) - Hierarchical Evidence Set Modeling for Automated Fact Extraction and
Verification [5.836068916903788]
階層的エビデンス・セット・モデリング(Heerarchical Evidence Set Modeling, HESM)は、エビデンス・セットを抽出し、サポート対象のクレームを検証するためのフレームワークである。
実験の結果,HESMは事実抽出とクレーム検証の7つの最先端手法より優れていた。
論文 参考訳(メタデータ) (2020-10-10T22:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。