論文の概要: SUCEA: Reasoning-Intensive Retrieval for Adversarial Fact-checking through Claim Decomposition and Editing
- arxiv url: http://arxiv.org/abs/2506.04583v1
- Date: Thu, 05 Jun 2025 02:58:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 21:53:49.502791
- Title: SUCEA: Reasoning-Intensive Retrieval for Adversarial Fact-checking through Claim Decomposition and Editing
- Title(参考訳): SUCEA: クレーム分解と編集を通した敵のファクトチェックのための推論集約検索
- Authors: Hongjun Liu, Yilun Zhao, Arman Cohan, Chen Zhao,
- Abstract要約: 敵の主張は、人間が事実確認システムに挑戦するために意図的に設計されている。
本稿では,元来の主張を言い換える訓練のない手法を提案する。
提案手法は,検索と包含ラベルの精度を大幅に向上させ,強力なクレーム分割ベースラインを4つ備えた。
- 参考スコア(独自算出の注目度): 30.84752573088322
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic fact-checking has recently received more attention as a means of combating misinformation. Despite significant advancements, fact-checking systems based on retrieval-augmented language models still struggle to tackle adversarial claims, which are intentionally designed by humans to challenge fact-checking systems. To address these challenges, we propose a training-free method designed to rephrase the original claim, making it easier to locate supporting evidence. Our modular framework, SUCEA, decomposes the task into three steps: 1) Claim Segmentation and Decontextualization that segments adversarial claims into independent sub-claims; 2) Iterative Evidence Retrieval and Claim Editing that iteratively retrieves evidence and edits the subclaim based on the retrieved evidence; 3) Evidence Aggregation and Label Prediction that aggregates all retrieved evidence and predicts the entailment label. Experiments on two challenging fact-checking datasets demonstrate that our framework significantly improves on both retrieval and entailment label accuracy, outperforming four strong claim-decomposition-based baselines.
- Abstract(参考訳): 近年,誤報に対処する手段として,ファクトチェックが注目されている。
大幅な進歩にもかかわらず、検索強化言語モデルに基づくファクトチェックシステムは、人間がファクトチェックシステムに挑戦するために意図的に設計した敵の主張に対処するのに依然として苦労している。
これらの課題に対処するため,本研究では,元来の主張を言い換える訓練のない手法を提案し,証拠の発見を容易にする。
私たちのモジュラーフレームワークであるSUCEAは、タスクを3つのステップに分解します。
1) 敵対的クレームを独立のサブクレームに区分するクレーム分割及びデコンテクスト化
2) 反復的証拠検索及びクレーム編集であって,その証拠を反復的に回収し,かつ,当該証拠に基づいてサブクレームを編集すること。
3) すべての回収された証拠を集約し,その関連ラベルを予測する証拠収集及びラベル予測
難解な2つのファクトチェックデータセットの実験により、我々のフレームワークは検索と包含ラベルの精度を大幅に改善し、4つの強力なクレーム分割ベースラインを上回った。
関連論文リスト
- CRAVE: A Conflicting Reasoning Approach for Explainable Claim Verification Using LLMs [15.170312674645535]
CRAVE は、説明可能なクレーム VErification に対する Conflicting Reasoning Approach である。
大規模な言語モデルによって推論される矛盾する理性に基づいて、複雑なクレームを検証することができる。
CRAVEは最先端の手法よりもはるかに優れた性能を実現している。
論文 参考訳(メタデータ) (2025-04-21T07:20:31Z) - Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳(メタデータ) (2024-10-07T00:09:50Z) - AFaCTA: Assisting the Annotation of Factual Claim Detection with Reliable LLM Annotators [38.523194864405326]
AFaCTAは、事実主張のアノテーションを支援する新しいフレームワークである。
AFaCTAは、3つの事前定義された推論経路に沿って、アノテーションの信頼度を一貫性で調整する。
PoliClaimは、さまざまな政治的トピックにまたがる包括的なクレーム検出データセットである。
論文 参考訳(メタデータ) (2024-02-16T20:59:57Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:01:19Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z) - DeSePtion: Dual Sequence Prediction and Adversarial Examples for
Improved Fact-Checking [46.13738685855884]
ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。
文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。
その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
論文 参考訳(メタデータ) (2020-04-27T15:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。