論文の概要: Hybrid Fact-Checking that Integrates Knowledge Graphs, Large Language Models, and Search-Based Retrieval Agents Improves Interpretable Claim Verification
- arxiv url: http://arxiv.org/abs/2511.03217v1
- Date: Wed, 05 Nov 2025 06:10:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-06 18:19:32.355242
- Title: Hybrid Fact-Checking that Integrates Knowledge Graphs, Large Language Models, and Search-Based Retrieval Agents Improves Interpretable Claim Verification
- Title(参考訳): 知識グラフ、大言語モデル、検索ベース検索エージェントを統合したハイブリッドFact-Checkingは、解釈可能なクレーム検証を改善する
- Authors: Shaghayegh Kolli, Richard Rosenbaum, Timo Cavelius, Lasse Strothe, Andrii Lata, Jana Diesner,
- Abstract要約: 大きな言語モデル(LLM)は、流速な発話を生成するのに優れるが、検証された情報の信頼性に欠ける。
本システムは3つの自律的なステップから構成される: 1) 知識グラフ (KG) を高速に検索する - (DBpedia) ホップ検索、2) タスク固有のラベル付けプロンプトで案内されるLMベースの分類、3) KGのカバレッジが不十分な場合にのみ起動されるWeb検索エージェント。
- 参考スコア(独自算出の注目度): 2.7268409633809902
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) excel in generating fluent utterances but can lack reliable grounding in verified information. At the same time, knowledge-graph-based fact-checkers deliver precise and interpretable evidence, yet suffer from limited coverage or latency. By integrating LLMs with knowledge graphs and real-time search agents, we introduce a hybrid fact-checking approach that leverages the individual strengths of each component. Our system comprises three autonomous steps: 1) a Knowledge Graph (KG) Retrieval for rapid one - hop lookups in DBpedia, 2) an LM-based classification guided by a task-specific labeling prompt, producing outputs with internal rule-based logic, and 3) a Web Search Agent invoked only when KG coverage is insufficient. Our pipeline achieves an F1 score of 0.93 on the FEVER benchmark on the Supported/Refuted split without task- specific fine - tuning. To address Not enough information cases, we conduct a targeted reannotation study showing that our approach frequently uncovers valid evidence for claims originally labeled as Not Enough Information (NEI), as confirmed by both expert annotators and LLM reviewers. With this paper, we present a modular, opensource fact-checking pipeline with fallback strategies and generalization across datasets.
- Abstract(参考訳): 大きな言語モデル(LLM)は、流速な発話を生成するのに優れるが、検証された情報の信頼性に欠ける。
同時に、ナレッジグラフベースのファクトチェッカーは、正確かつ解釈可能な証拠を提供するが、カバレッジやレイテンシの制限に悩まされる。
LLMを知識グラフとリアルタイム検索エージェントと統合することにより、各コンポーネントの個々の強みを活用するハイブリッドなファクトチェック手法を導入する。
私たちのシステムは3つの自律的なステップで構成されています。
1)DBpediaにおける高速検索のための知識グラフ(KG)検索
2)タスク固有のラベル付けプロンプトで案内されたLMベースの分類であって、内部ルールベースの論理による出力を生成し、
3) Web Search Agentは,KGカバレッジが不十分な場合にのみ起動される。
我々のパイプラインは、タスク固有の微調整なしで、サポート/再利用スプリットのFEVERベンチマークでF1スコア0.93を達成する。
十分な情報事例に対処するため,本研究では,専門家アノテータとLLMレビュアーの双方が確認したように,本手法が本来「不十分な情報」(NEI)とラベル付けされたクレームの有効証拠を頻繁に発見することを示す。
本稿では,フォールバック戦略とデータセット間の一般化を備えたオープンソースのファクトチェックパイプラインを提案する。
関連論文リスト
- CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳(メタデータ) (2025-08-05T17:55:24Z) - Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。
AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。
結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
論文 参考訳(メタデータ) (2025-07-22T06:37:51Z) - GE-Chat: A Graph Enhanced RAG Framework for Evidential Response Generation of LLMs [6.3596531375179515]
本稿では,エビデンスに基づく応答生成を実現するための検索強化フレームワークであるGE-Chatを提案する。
具体的には、ユーザが資料をアップロードすると、知識グラフが作成され、検索強化エージェントの構築に役立ちます。
我々は、正確な証拠検索を実現するために、Chain-of-Thought(CoT)ロジック生成、n-hopサブグラフ検索、entailment-based sentence生成を活用する。
論文 参考訳(メタデータ) (2025-05-15T10:17:35Z) - Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。
また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
論文 参考訳(メタデータ) (2025-05-09T04:40:11Z) - Towards Automated Fact-Checking of Real-World Claims: Exploring Task Formulation and Assessment with LLMs [32.45604456988931]
本研究では,Large Language Models(LLMs)を用いたAFC(Automated Fact-Checking)のベースライン比較を確立する。
また,2007-2024年にPoitiFactから収集された17,856件のクレームに対して,制限されたWeb検索によって得られた証拠を用いてLlama-3モデルの評価を行った。
以上の結果から, LLMは微調整をせずに, 分類精度, 正当化品質において, より小型のLLMより一貫して優れていたことが示唆された。
論文 参考訳(メタデータ) (2025-02-13T02:51:17Z) - Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。
この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。
提案手法は2つの共通データセットに対して最先端の性能を達成した。
論文 参考訳(メタデータ) (2024-12-24T16:38:04Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。