論文の概要: Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents

• arxiv url: http://arxiv.org/abs/2605.06635v1
• Date: Thu, 07 May 2026 17:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.057816
• Title: Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents
• Title（参考訳）: LLMディープリサーチエージェントにおけるソース属性の解析と評価
• Authors: Hailey Onweller, Elias Lumer, Austin Huber, Pia Ramchandani, Vamse Kumar Subbiah, Corey Feld,
• Abstract要約: 大規模言語モデル(LLM)は、数百のWebソースから情報を引用したレポートに合成するディープリサーチエージェントをパワーアップする。 現在のアプローチでは、信頼モデルが正確な自己引用、バイアスのリスク、あるいはソースアクセシビリティ、関連性、事実整合性を検証しない検索強化世代(RAG)を採用する。 本稿では,再現可能なASTルーブリックを用いてインライン引用を大規模に抽出し,評価する最初の情報源属性評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.18762753243053634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) power deep research agents that synthesize information from hundreds of web sources into cited reports, yet these citations cannot be reliably verified. Current approaches either trust models to self-cite accurately, risking bias, or employ retrieval-augmented generation (RAG) that does not validate source accessibility, relevance, or factual consistency. We introduce the first source attribution evaluation framework that uses a reproducible AST parser to extract and evaluate inline citations from LLM-generated Markdown reports at scale. Unlike methods that verify claims in isolation, our framework closes the loop by retrieving the actual cited content, enabling human or model evaluators to judge each citation against its source. Citations are evaluated along three dimensions. (1) Link Works verifies URL accessibility, (2) Relevant Content measures topical alignment, and (3) Fact Check validates factual accuracy against source content. We benchmark 14 closed-source and open-source LLMs across three evaluation dimensions using rubric-based LLM-as-a-judge evaluators calibrated through human review. Our results reveal that even the strongest frontier models maintain link validity above 94% and relevance above 80%, yet achieve only 39-77% factual accuracy, while fewer than half of open-source models successfully generate cited reports in a one-shot setting. Ablation studies on research depth show that Fact Check accuracy drops by approximately 42% on average across two frontier models as tool calls scale from 2 to 150, demonstrating that more retrieval does not produce more accurate citations. These findings reveal a critical disconnect between surface-level citation quality and factual reliability, and our framework provides the evaluation infrastructure to assess the disconnect.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、数百のWebソースから引用されたレポートに情報を合成するディープリサーチエージェントに力を与えるが、これらの引用は確実に検証できない。 現在のアプローチでは、信頼モデルが正確な自己引用、バイアスのリスク、あるいはソースアクセシビリティ、関連性、事実整合性を検証しない検索強化世代(RAG)を採用するかのいずれかである。 我々は、再現可能なASTパーサを用いて、LCM生成したMarkdownレポートからインライン引用を大規模に抽出し、評価する、最初のソース属性評価フレームワークを紹介する。 クレームを個別に検証する手法とは異なり、我々のフレームワークは、実際の引用内容を検索することでループを閉じ、人間またはモデル評価者がそれぞれの引用をソースに対して判断することを可能にする。 クッションは3次元で評価される。 1)リンクワークスはURLアクセシビリティを確認し,(2)関連コンテンツはトピックアライメントを測定し,(3)Fact Checkはソースコンテンツに対して事実的正確性を検証する。 人間の評価により評価したルーブリック型LCM-as-a-judge評価器を用いて,14個のオープンソースLCMを3次元にわたってベンチマークした。 その結果、最強フロンティアモデルでさえ、リンクの妥当性を94%以上、関連性は80%以上維持するが、事実精度は39-77%に留まり、一方、オープンソースモデルの半分以下は1ショットで引用されたレポートを生成することに成功した。 調査深度に関するアブレーション研究では、ツールコールが2から150にスケールするにつれて、Fact Checkの精度が2つのフロンティアモデルの平均で約42%低下し、より多くの検索がより正確な引用を生み出しないことを示した。 これらの結果から,表面レベルの励磁品質と実際の信頼性の間に重要な断線が生じ,その断線を評価するための評価インフラが提案されている。

関連論文リスト

• CRISP: Characterizing Relative Impact of Scholarly Publications [70.25915589244961]
  本稿では,大規模言語モデル(LLM)を用いた引用論文の中で,引用論文の全てを共同でランク付けするCRISPを提案する。 LLMの位置バイアスを軽減するために、ランダムな順序で各リストを3回ランク付けし、多数決によって影響ラベルを集約する。 CRISPは従来の最先端の衝撃分類器の精度を+9.5%、F1を+8.3%で上回っている。
  論文  参考訳（メタデータ） (2026-03-25T16:42:30Z)
• Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
  信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である 本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
  論文  参考訳（メタデータ） (2026-03-05T18:42:51Z)
• CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
  大規模言語モデル (LLM) は新たなリスクを導入している。 本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。 我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-26T19:17:39Z)
• GhostCite: A Large-Scale Analysis of Citation Validity in the Age of Large Language Models [22.147294042024836]
  キュテーションは科学的主張を信頼する基盤を提供するが、それらが無効または製造された場合、この信頼は崩壊する。 LLM(Large Language Models)の出現により、このリスクは増大した。 我々は大規模な引用検証のためのオープンソースのフレームワークであるCiteVerifierを開発した。
  論文  参考訳（メタデータ） (2026-02-06T14:08:34Z)
• ReportBench: Evaluating Deep Research Agents via Academic Survey Tasks [14.371010711040304]
  ReportBenchは、大規模言語モデル(LLM)によって生成された研究レポートの内容品質を評価するために設計されたベンチマークである。 本評価は,(1)引用文献の質と妥当性,(2)報告内容の忠実さと妥当性の2つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2025-08-14T03:33:43Z)
• CiteEval: Principle-Driven Citation Evaluation for Source Attribution [38.24323805177938]
  CiteEvalは、きめ細かい引用評価に焦点を当てた、引用評価フレームワークである。 CiteBenchは、引用品質に関する高品質なヒューマンアノテーションを備えたベンチマークである。 CiteEval-Autoは、人間の判断と強い相関を示すモデルベースのメトリクスのスイートである。
  論文  参考訳（メタデータ） (2025-06-02T16:15:34Z)
• Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
  そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。 また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
  論文  参考訳（メタデータ） (2025-05-09T04:40:11Z)
• LLMs Can Patch Up Missing Relevance Judgments in Evaluation [56.51461892988846]
  我々は、大きな言語モデル(LLM)を使って、不確定な文書を自動的にラベル付けします。 TREC DLトラックの関連性判定から関連文書をランダムにドロップすることで,穴の度合いの異なるシナリオをシミュレートする。 Vicuna-7B と GPT-3.5 Turbo の平均値に対して,Kendall tau の0.87 と 0.92 の相関式が得られた。
  論文  参考訳（メタデータ） (2024-05-08T00:32:19Z)
• Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
  事前学習データにおいて,信頼された情報源から動詞句を引用するモデルを構築した。 Quote-Tuningの中核は、信頼されたコーパスに対するテキストを効率的に検証する高速なメンバシップ推論機能である。 実験により、Quote-Tuningは、ベースモデルと比較して高品質なドキュメントからの動詞の引用を最大130%増加させることが示された。
  論文  参考訳（メタデータ） (2024-04-05T02:27:09Z)
• Trusted Source Alignment in Large Language Models [30.14375102262399]
  本稿では,ファクトチェック記事のコーパスに基づくTSA評価データセットであるFactCheckQAを提案する。 モデルサイズを拡大するにつれて、FactCheckQAのモデル性能は、信頼性のあるソースとの整合性において、ほぼランダムから最大80%のバランスの取れた精度に向上する。
  論文  参考訳（メタデータ） (2023-11-12T00:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。