論文の概要: ClaimCheck: Real-Time Fact-Checking with Small Language Models

• arxiv url: http://arxiv.org/abs/2510.01226v1
• Date: Mon, 22 Sep 2025 21:18:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 05:29:07.857001
• Title: ClaimCheck: Real-Time Fact-Checking with Small Language Models
• Title（参考訳）: ClaimCheck: 小さな言語モデルによるリアルタイムFact-Checking
• Authors: Akshith Reddy Putta, Jacob Devasier, Chengkai Li,
• Abstract要約: ClaimCheckは、現実のクレームを検証するために設計されたLLM誘導のファクトチェックシステムである。 大規模なクローズドソースモデルに依存する従来のシステムとは異なり、ClaymCheckは透過的でステップワイズな検証パイプラインを採用している。 各モジュールは小さなLLMに最適化されており、システムは正確で解釈可能なファクトチェックを提供することができる。
• 参考スコア（独自算出の注目度）: 5.305110876082343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce ClaimCheck, an LLM-guided automatic fact-checking system designed to verify real-world claims using live Web evidence and small language models. Unlike prior systems that rely on large, closed-source models and static knowledge stores, ClaimCheck employs a transparent, stepwise verification pipeline that mirrors human fact-checking workflows consisting of Web search query planning, Web-based evidence retrieval and summarization, evidence synthesis and re-retrieval, and claim verdict evaluation. Each module is optimized for small LLMs, allowing the system to deliver accurate and interpretable fact-checking with significantly lower computational requirements. Despite using a much smaller Qwen3-4B model, ClaimCheck achieves state-of-the-art accuracy of 76.4% on the AVeriTeC dataset, outperforming previous approaches using LLaMA3.1 70B and GPT-4o. Extensive ablations demonstrate that careful modular design and prompting strategies can overcome the limitations of smaller LLMs. To promote accessibility and transparency, we provide a public demo at https://idir.uta.edu/claimcheck.
• Abstract（参考訳）: 我々は,ライブWebエビデンスと小言語モデルを用いた実世界のクレームの検証を目的とした,LLM誘導のファクトチェックシステムであるCrimCheckを紹介する。 大規模なクローズドソースモデルや静的知識ストアに依存する従来のシステムとは異なり、ClaymCheckでは、Web検索クエリ計画、Webベースのエビデンス検索と要約、エビデンス合成と再検索、クレーム評価を含む人間の事実チェックワークフローを反映した、透明で段階的な検証パイプラインを採用している。 各モジュールは小さなLLMに最適化されており、計算要求が大幅に少ない正確で解釈可能なファクトチェックをシステムに提供することができる。 はるかに小さなQwen3-4Bモデルを使用しても、ClaymCheckはAVeriTeCデータセットで76.4%の最先端の精度を達成し、LLaMA3.1 70BとGPT-4oを使用して以前のアプローチより優れている。 広範囲にわたる議論は、注意深いモジュラー設計とプロンプト戦略がより小さなLLMの限界を克服できることを実証している。 アクセシビリティと透明性を促進するため、https://idir.uta.edu/claimcheck.comで公開デモを行います。

関連論文リスト

• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• Towards Automated Fact-Checking of Real-World Claims: Exploring Task Formulation and Assessment with LLMs [32.45604456988931]
  本研究では,Large Language Models(LLMs)を用いたAFC(Automated Fact-Checking)のベースライン比較を確立する。 また,2007-2024年にPoitiFactから収集された17,856件のクレームに対して,制限されたWeb検索によって得られた証拠を用いてLlama-3モデルの評価を行った。 以上の結果から, LLMは微調整をせずに, 分類精度, 正当化品質において, より小型のLLMより一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-13T02:51:17Z)
• CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation [76.31621715032558]
  グラウンデッドジェネレーションは、言語モデル(LM)に、より信頼性が高く説明可能な応答を生成する能力を持たせることを目的としている。 本稿では,新しい検証フレームワークであるCaLMを紹介する。 我々のフレームワークは、より少ないパラメトリックメモリに依存する小さなLMを有効活用し、より大きなLMの出力を検証する。
  論文  参考訳（メタデータ） (2024-06-08T06:04:55Z)
• OpenFactCheck: Building, Benchmarking Customized Fact-Checking Systems and Evaluating the Factuality of Claims and LLMs [27.89053798151106]
  OpenFactCheckは、カスタマイズされたファクトチェックシステムを構築するためのフレームワークである。 ユーザーは自動的にファクトチェッカーをカスタマイズし、文書やクレームの事実的正当性を検証できる。 CheckerEVALは、人間の注釈付きデータセットを使用して、自動ファクトチェッカーの検証結果の信頼性を高めるソリューションである。
  論文  参考訳（メタデータ） (2024-05-09T07:15:19Z)
• MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents [62.02920842630234]
  GPT-4レベルの性能を持つが400倍の低コストでファクトチェックモデルを構築する方法を示す。 GPT-4を用いて合成トレーニングデータを構築することで,現実的かつ困難な事実エラーの事例を生成する。 評価のために, ファクトチェックとグラウンドグラウンド化に関する最近の研究から得られたデータセットを, 新たなベンチマーク LLM-AggreFact に統一する。
  論文  参考訳（メタデータ） (2024-04-16T17:59:10Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。