論文の概要: Standing on the Shoulders of Giants: Enhancing LLM Agents for Automated Fact-Checking with Human Expert Skills

• arxiv url: http://arxiv.org/abs/2610.25777v1
• Date: Mon, 19 Oct 2026 04:44:26 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:14:48.924936
• Title: Standing on the Shoulders of Giants: Enhancing LLM Agents for Automated Fact-Checking with Human Expert Skills
• Title（参考訳）: ジャイアンツの肩に立つ:人間専門家による自動ファクトチェッキングのためのLSMエージェントの強化
• Abstract要約: 既存のアプローチは、計算的にコストがかかる後トレーニングや、ループ内の人間フィードバックを通じて、その能力を改善する。 我々はAgence France-Presse Fact Checkから公開された公開ガイドラインを再利用可能なモジュラーFact-Checking Skill (PFC-Skill)に蒸留する。 SkillCheck は LLM エージェントが PFC-Skill に動的にアクセスして証拠の検索と推論時のクレーム検証を誘導する最初の AFC システムである。
• 参考スコア（独自算出の注目度）: 2.8210305661264994
• License:
• Abstract: Automated fact-checking (AFC) systems powered by large language model (LLM) agents still face challenges in evidence retrieval and claim verification. Existing approaches improve their capabilities through computationally costly post-training or human-in-the-loop feedback that is difficult to scale. To transfer professional fact-checking expertise to LLM agents efficiently, we distill publicly available guidelines published by Agence France-Presse (AFP) Fact Check into a reusable, modular Professional Fact-Checking Skill (PFC-Skill). We then present SkillCheck, the first AFC system that gives LLM agents dynamic access to PFC-Skill to guide evidence retrieval and claim verification at inference time. Extensive experiments demonstrate that SkillCheck improves upon skill-free DEFAME baselines across multiple LLM backbones, with gains of 2.2--4.8 pp. in Accuracy and 1.5--6.3 pp. in Macro-F1 on the AVeriTeC benchmark. Notably, SkillCheck with GPT-4o-Mini exceeds DEFAME with GPT-4o by 3.4 pp. in Accuracy while cutting inference cost by roughly 61%. The performance gains also extend to open-web retrieval. Ablations show that incorporating the skill during evidence retrieval provides most of the gains, while incorporation into both stages yields the best overall performance. Case studies show that PFC-Skill enables more targeted search and closer scrutiny of evidence. To conclude, our work shows that LLM agents can "stand on the shoulders of giants" by drawing on the best practices of professional fact-checkers, substantially enhancing AFC performance without extra training or continuous human supervision.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントを利用した自動ファクトチェック(AFC)システムはまだ証拠検索とクレーム検証の課題に直面している。 既存のアプローチは、計算的にコストがかかる後トレーニングや、スケールが難しいループ内フィードバックを通じて、その能力を改善する。 プロのファクトチェックの専門知識を LLM エージェントに効率的に伝達するため,Agence France-Presse (AFP) Fact Check の公開ガイドラインを再利用可能なモジュール型 Fact-Checking Skill (PFC-Skill) に変換する。 SkillCheck は LLM エージェントが PFC-Skill に動的にアクセスして証拠の検索と推論時のクレーム検証をガイドする最初の AFC システムである。 大規模な実験により、SkillCheckは複数のLDMバックボーンにまたがるスキルフリーのDEFAMEベースラインを改善し、精度は2.2--4.8 pp.、1.5--6.3 pp.となった。 Macro-F1 の AVeriTeC ベンチマーク。 特に、GPT-4o-Mini の SkillCheck は DEFAME を超え、GPT-4o は 3.4 pp。 推論コストを約61%削減します パフォーマンス向上はオープンウェブ検索にも及んでいる。 アブレーションは、証拠検索中にスキルを取り入れることで、ほとんどの利益が得られ、一方、両方のステージに組み込むと、全体的なパフォーマンスが最高になることを示している。 ケーススタディでは、PFCスキルはより標的を絞った探索とより深い証拠の精査を可能にしている。 結論として, LLMエージェントは, プロのファクトチェッカーのベストプラクティスを活かし, 余分なトレーニングや人的監督を伴わずに, AFCのパフォーマンスを大幅に向上させることで, 「巨人の肩に立たせる」ことができることを示す。

関連論文リスト

• VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
  LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。 本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。 コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。 これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
  論文  参考訳（メタデータ） (2026-10-01T03:02:17Z)
• Inducing Process Supervision from Outcome-Only Reinforcement Learning [49.586636067896535]
  TIPS(Thinking-induced Process Supervision)は、生成型PRMをトレーニングするための結果のみの強化学習フレームワークである。 TIPSでは、モデルがチェーン・オブ・シークレットを生成し、ステップレベルラベルと結果ラベルを生成する。 数学およびエージェントベンチマークおよび4つのバックボーンファミリーにおけるTIPSの有効性を検証した。
  論文  参考訳（メタデータ） (2026-09-29T03:46:45Z)
• FINSKILLOPS: A Self-Evolving Multi-Agent System for SEC Filing QA [19.781137463581274]
  既存の自己改善手法は、失敗を新しい振る舞いに変えることができる。 我々は、デプロイ後の改善を、制御された行動維持とみなしている。 SECの申請QAのためのマルチエージェントシステムであるFINSKILLOPSで、この見解をインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-17T04:25:17Z)
• VASO: Formally Verifiable Self-Evolving Skills for Physical AI Agents [57.240036084348354]
  本稿では,ロボットスキルコントラクトの検証誘導自己進化のためのフレームワークであるVASOを紹介する。 VASOは論理的に一貫性のないスキル契約を検証し、グローバルおよびローカルな時間的仕様に対してスキルによって誘発される計画を検証する。 Clearpath Jackal と PX4 のクアッドコプタータスクでは、VASO は100点未満の最適化サンプルを使用して97.2% の形式的な仕様準拠に達した。
  論文  参考訳（メタデータ） (2026-06-03T20:02:35Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Veri-R1: Toward Precise and Faithful Claim Verification via Online Reinforcement Learning [53.05161493434908]
  大規模言語モデル(LLM)によるクレーム検証は、その強力な推論能力と透過的な検証プロセスのため、近年注目を集めている。 我々は、LLMが検索エンジンと対話し、その計画、検索、推論行動を明確に形作る報酬信号を受け取ることができるオンライン強化学習フレームワークであるVeri-R1を紹介した。 実験の結果、Veri-R1は最大30%の精度で関節の精度を向上し、エビデンススコアを2倍にし、より大きなモデルを上回ることが示されている。
  論文  参考訳（メタデータ） (2025-10-02T11:49:48Z)
• LEAF: Learning and Evaluation Augmented by Fact-Checking to Improve Factualness in Large Language Models [11.453585039783901]
  LEAF: Fact-Checkingによって強化された学習と評価は、大規模言語モデル(LLM)の現実的信頼性を高めるために設計された新しいアプローチである。 最初の戦略であるFact-Check-Then-RAGは、ファクトチェック結果を取り入れて、モデルパラメータを更新せずに検索プロセスをガイドすることによって、検索精度を向上させる。 第2の戦略であるLearning from Fact-Checks via Self-Trainingは、ファクトチェックされた応答の監督された微調整(SFT)や、ファクトチェックをランキングメカニズムとして適用するSimple Preference Optimization(SimPO)である。
  論文  参考訳（メタデータ） (2024-10-31T00:18:05Z)
• Enabling Weak LLMs to Judge Response Reliability via Meta Ranking [38.63721941742435]
  我々は、$textitMeta Ranking$ (MR) と呼ばれるクロスクエリベースの新しい手法を提案する。 MRは、ターゲットクエリ-レスポンスペアを複数の参照クエリ-レスポンスペアにペアでランク付けすることで、信頼性を評価する。 MRはモデルカスケーディングとインストラクションチューニングの2つの実用的応用において、強力なLLMの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T13:57:55Z)
• The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
  大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。 語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。 本研究は, 文脈情報を用いたLLMの高度化を示すものである。 LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
  論文  参考訳（メタデータ） (2023-10-20T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。