論文の概要: Evaluating and Improving Evidence-Grounded Fact-Checking in LLMs via Multi-Round Evidence Ablation

• arxiv url: http://arxiv.org/abs/2609.08943v1
• Date: Tue, 08 Sep 2026 16:04:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.689107
• Title: Evaluating and Improving Evidence-Grounded Fact-Checking in LLMs via Multi-Round Evidence Ablation
• Title（参考訳）: マルチルートエビデンスアブレーションによるLCMのエビデンスグラウンドFact-Checkingの評価と改善
• Abstract要約: 市販のファクトチェックシステムは、提供された証拠よりもパラメトリックな知識に依存していることを示す。 本稿では,証拠に依存した検証を促進するトレーニングフレームワークであるREAL(Rigorous Evidence Ablation Learning)を提案する。 以上の結果から,強い事実チェック性能と弱い証拠依存性が共存する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 28.999694748110404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic fact-checking systems assess the veracity of claims given evidence from relevant documents. Large Language Models (LLMs) have demonstrated strong performance in fact-checking due to their general reasoning capabilities. However, it remains unclear whether they faithfully make use of the evidence provided to reach veracity judgments or rely on parametric knowledge. To investigate this, we introduce Fact-Ablated Evaluation (FAE), a new evaluation framework that iteratively ablates the cited evidence to assess whether LLMs revise their predictions accordingly. Our empirical results show that current off-the-shelf LLMs as fact-checking systems rely more on their parametric knowledge than on the evidence provided. To bridge this gap between prediction accuracy and evidence grounding, we propose REAL (Rigorous Evidence Ablation Learning), a training framework that promotes evidence-dependent verification through counterfactual evidence supervision for the LLM-as-verifier models. Experiments on four fact-checking datasets across different domains demonstrate that models trained with REAL obtain superior evidence-dependent capabilities compared to standard fine-tuned models. Our findings highlight that strong fact-checking performance can still coexist with weak evidence dependency, while REAL encourages veracity predictions to remain more closely tied to the availability of supporting evidence.
• Abstract（参考訳）: 自動ファクトチェックシステムは、関連する文書から得られた証拠のクレームの正確性を評価する。 大きな言語モデル(LLM)は、その一般的な推論能力のため、事実チェックにおいて強力なパフォーマンスを示している。 しかし、正当性判断に達するための証拠を忠実に利用したのか、それともパラメトリック知識に頼っているのかは定かではない。 そこで本研究では,新たな評価フレームワークであるFact-Ablated Evaluation (FAE)を導入する。 実証実験の結果, 事実チェックシステムとしての現在の既成のLCMは, 提供された証拠よりもパラメトリックな知識に依存していることがわかった。 予測精度とエビデンス基盤とのギャップを埋めるため,LLM-as-verifierモデルの反実的エビデンス監視を通じてエビデンスに依存した検証を促進するトレーニングフレームワークであるREAL(Rigorous Evidence Ablation Learning)を提案する。 異なるドメインにわたる4つのファクトチェックデータセットの実験は、REALでトレーニングされたモデルが標準的な微調整モデルと比較して優れたエビデンス依存能力を得ることを示した。 以上の結果から,強い事実確認性能は依然として弱い証拠依存と共存しうるが,REALは証拠の有効性に密接な関係を保ちながら,信頼性の予測を推奨している。

関連論文リスト

• DARE: Dialectical Agentic Reasoning for Structured Knowledge Fact Checking [12.74603871041188]
  構造化知識事実チェック(Structured Knowledge fact check)は、構造化された証拠を推論することで自然言語の主張の真正性を決定することを目的としている。 近年のプログラム生成手法は,大規模言語モデル(LLM)を利用して実行可能なグラフ推論プログラムを生成する。 本稿では,多エージェントフレームワークであるDialectical Agentic Reasoning(DARE)を提案する。
  論文  参考訳（メタデータ） (2026-09-12T08:41:52Z)
• Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling [21.14539989233461]
  知識--'Less''' Language Models (KLLMs) KLLMは、名前付きエンティティが匿名化されたコーパスで事前訓練される。 我々は,KLLMがパラメトリック知識に頼らず,外部証拠に頼らず,現実的な条件下での信頼性の向上につながることを示した。
  論文  参考訳（メタデータ） (2026-07-14T14:48:53Z)
• Diagnosing LLM Arbitration Behavior over Pre-evidence Epistemic States in RAG-based Fact-Checking [14.164769475625391]
  RAGベースのファクトチェックでは、LLMは、検索された証拠に対して与えられたクレームをチェックするための検証器として、ますます使われている。 我々は,LSM検証を4つのてんかん状態に階層化する診断テストベッドであるtextscPAVE(emphPrior-Aware Verifier Evaluation)を紹介する。 実験により、現実のRAGベースのファクトチェックアプリケーションにおいて、検証者選択の重要性が浮かび上がっている。
  論文  参考訳（メタデータ） (2026-05-31T09:37:56Z)
• Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models [53.279391576560755]
  大規模言語モデル(LLM)は、広範囲のNLPタスクにおいて顕著な流速と汎用性を示してきたが、実際的な不正確さと制限が伴う傾向にある。 これは、信頼と妥当性が最優先される医療、法律、科学コミュニケーションといった、高リスク領域に重大なリスクをもたらす。 LLM出力の事実的信頼性と解釈可能性を高めるために設計されたDAVinCI - Dual Attribution and Verificationフレームワークを紹介する。
  論文  参考訳（メタデータ） (2026-04-23T01:37:50Z)
• Multi-Sourced, Multi-Agent Evidence Retrieval for Fact-Checking [47.47518672198846]
  インターネット上に拡散する誤報は、社会と個人の両方に重大な脅威をもたらす。 これまでの方法は、トレーニングデータから学んだ意味的パターンと社会的コンテキスト的パターンに依存していた。 我々は、証拠のコアリソースとして認証されたオープンナレッジグラフを利用するWKGFCを提案する。
  論文  参考訳（メタデータ） (2026-02-27T19:29:01Z)
• Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
  大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。 FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。 本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
  論文  参考訳（メタデータ） (2026-01-06T02:51:56Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• Veri-R1: Toward Precise and Faithful Claim Verification via Online Reinforcement Learning [53.05161493434908]
  大規模言語モデル(LLM)によるクレーム検証は、その強力な推論能力と透過的な検証プロセスのため、近年注目を集めている。 我々は、LLMが検索エンジンと対話し、その計画、検索、推論行動を明確に形作る報酬信号を受け取ることができるオンライン強化学習フレームワークであるVeri-R1を紹介した。 実験の結果、Veri-R1は最大30%の精度で関節の精度を向上し、エビデンススコアを2倍にし、より大きなモデルを上回ることが示されている。
  論文  参考訳（メタデータ） (2025-10-02T11:49:48Z)
• Robust Claim Verification Through Fact Detection [17.29665711917281]
  我々の新しいアプローチであるFactDetectは、大規模言語モデル(LLM)を利用して、証拠から簡潔な事実文を生成する。 生成された事実は、クレームとエビデンスと組み合わせられる。 提案手法は,F1スコアにおいて,教師付きクレーム検証モデルにおいて,15%の競合結果を示す。
  論文  参考訳（メタデータ） (2024-07-25T20:03:43Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
  我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。 本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
  論文  参考訳（メタデータ） (2023-10-18T02:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。