論文の概要: R2VC: Modular Fact-Checking with Retrieval, Verification, and Confidence Calibration
- arxiv url: http://arxiv.org/abs/2609.11955v1
- Date: Thu, 06 Aug 2026 03:35:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.503444
- Title: R2VC: Modular Fact-Checking with Retrieval, Verification, and Confidence Calibration
- Title（参考訳）: R2VC: 検索,検証,信頼性の校正によるモジュールファクトチェッキング
- Abstract要約: R2VCは、証拠を根拠とした事実チェックのためのモジュラー検索、理由、検証、アーキテクチャのキャリブレーションである。
FEVERでは、R2VCの8Bバックボーンはベースラインよりも13.74%高い精度を実現している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used for automated fact checking, but end-to-end prompting often entangles evidence retrieval, reasoning, and uncertainty estimation, making failures difficult to diagnose and confidence difficult to trust. We present R2VC, a modular retrieve, reason, verify, calibrate architecture for evidence-grounded fact checking with citations and abstention. R2VC combines hybrid sparse+dense retrieval over Wikipedia, a supervised fine-tuned and DPO-aligned generator that produces diverse structured verdict candidates, an external NLI cross-encoder for evidence-based candidate selection, and a lightweight sequence-level calibrator for confidence estimation and selective abstention. On FEVER, an 8B backbone with R2VC achieves 13.74% higher accuracy than baseline. Ablation studies show that verifier-based candidate selection and confidence calibration are the largest contributors to performance. Removing candidate selection drops FEVER accuracy to 76.24%, while removing calibration nearly doubles the Brier score to 0.161. A manual analysis of 250 errors further shows that retrieval failures, especially wrong-entity evidence, remain the dominant bottleneck. Together, these results show that modular fact-checking pipelines can substantially improve both predictive accuracy and confidence reliability in open-domain verification.
- Abstract（参考訳）: 大規模な言語モデルは、ますます自動化された事実チェックに使用されるようになっているが、エンドツーエンドのプロンプトは、証拠の検索、推論、不確実性推定を混乱させ、失敗を診断し、信頼し難いものにしている。
本稿では,モジュール型検索手法であるR2VCについて,引用や棄却による事実確認のためのアーキテクチャの校正,検証,校正を行う。
R2VCは、ウィキペディア上のハイブリッドスパース+デンス検索、様々な構造化された検証候補を生成する教師付きおよびDPO整列ジェネレータ、エビデンスベースの候補選択のための外部NLIクロスエンコーダ、信頼性推定と選択的棄権のための軽量なシーケンスレベルのキャリブレータを組み合わせた。
FEVERでは、R2VCの8Bバックボーンはベースラインよりも13.74%高い精度を実現している。
アブレーション研究は、検証者に基づく候補選択と信頼度校正がパフォーマンスの最大の貢献者であることを示している。
候補選択の除去により、FEVERの精度は76.24%に低下し、キャリブレーションの除去はブライアのスコアを0.161にほぼ倍増させた。
250のエラーを手動で分析すると、検索の失敗、特に不正な証拠が主要なボトルネックであることが示された。
これらの結果から,モジュール型ファクトチェックパイプラインは,オープンドメイン検証における予測精度と信頼性の両方を大幅に向上させることができることがわかった。
関連論文リスト
- Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。
LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。
判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
論文 参考訳（メタデータ） (2026-08-23T16:09:54Z) - DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。
本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
論文 参考訳（メタデータ） (2026-08-21T03:48:25Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - ConfidenceBench: Evaluating Confidence Calibration in Large Language Models [14.831793255747181]
ConfidenceBenchは、大規模言語モデルのキャリブレーションベンチマークである。
15のフロンティア大言語モデルにおいて、言語化された信頼度の評価を行う。
信頼性はプロンプトを通じて引き起こされ、モデルロジットへのアクセスは不要である。
論文 参考訳（メタデータ） (2026-07-10T01:56:30Z) - Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-05T14:48:52Z) - Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models [53.279391576560755]
大規模言語モデル(LLM)は、広範囲のNLPタスクにおいて顕著な流速と汎用性を示してきたが、実際的な不正確さと制限が伴う傾向にある。
これは、信頼と妥当性が最優先される医療、法律、科学コミュニケーションといった、高リスク領域に重大なリスクをもたらす。
LLM出力の事実的信頼性と解釈可能性を高めるために設計されたDAVinCI - Dual Attribution and Verificationフレームワークを紹介する。
論文 参考訳（メタデータ） (2026-04-23T01:37:50Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering [71.15346406323827]
本稿では,プロセス・アウトカム・アライメント・アライメント・検証における検証結果を評価するベンチマークであるPRIMEを紹介する。
現在の検証器は、しばしば導出欠陥を検出するのに失敗する。
本稿では,PRIMEで選択した検証手法を利用したプロセス認識型RLVRトレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2026-02-12T04:45:01Z) - CoRefine: Confidence-Guided Self-Refinement for Adaptive Test-Time Compute [10.548368675645403]
CoRefineは、トークンのごく一部を使って競争精度を達成する自信誘導型自己精製法である。
コントローラはフルトレースの信頼性を消費し、停止するか、再検査するか、あるいは別のアプローチを試すかを決定する。
これをCoRefine-Treeに拡張します。これは、探索とエクスプロイトを適応的にバランスさせる、ハイブリッドなシーケンシャル並列型です。
論文 参考訳（メタデータ） (2026-02-09T17:44:41Z) - Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。
UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。
ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
論文 参考訳（メタデータ） (2025-09-01T13:14:58Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。