論文の概要: Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents

• arxiv url: http://arxiv.org/abs/2604.03173v1
• Date: Fri, 03 Apr 2026 16:49:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.538253
• Title: Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents
• Title（参考訳）: 商業用LLMおよびディープリサーチエージェントにおける基準幻覚の検出と修正
• Authors: Delip Rao, Eric Wong, Chris Callison-Burch,
• Abstract要約: 大きな言語モデルとディープリサーチエージェントは、彼らの主張をサポートするために引用URLを提供する。 DRBenchの10モデルとエージェントとExpertQAの3モデルを用いた引用URLの有効性に関する6つの研究課題に対処する。 引用URLの3～13%は幻覚化され、5～18%は全体として解決されない。 We release URLhealth, a open-source tool for URL liveness check and stale-vs-hallucinated classification using the Wayback Machine。
• 参考スコア（独自算出の注目度）: 38.68399248551709
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models and deep research agents supply citation URLs to support their claims, yet the reliability of these citations has not been systematically measured. We address six research questions about citation URL validity using 10 models and agents on DRBench (53,090 URLs) and 3 models on ExpertQA (168,021 URLs across 32 academic fields). We find that 3--13\% of citation URLs are hallucinated -- they have no record in the Wayback Machine and likely never existed -- while 5--18\% are non-resolving overall. Deep research agents generate substantially more citations per query than search-augmented LLMs but hallucinate URLs at higher rates. Domain effects are pronounced: non-resolving rates range from 5.4\% (Business) to 11.4\% (Theology), with per-model effects even larger. Decomposing failures reveals that some models fabricate every non-resolving URL, while others show substantial link-rot fractions indicating genuine retrieval. As a solution, we release urlhealth, an open-source tool for URL liveness checking and stale-vs-hallucinated classification using the Wayback Machine. In agentic self-correction experiments, models equipped with urlhealth reduce non-resolving citation URLs by $6\textrm{--}79\times$ to under 1\%, though effectiveness depends on the model's tool-use competence. The tool and all data are publicly available. Our characterization findings, failure taxonomy, and open-source tooling establish that citation URL validity is both measurable at scale and correctable in practice.
• Abstract（参考訳）: 大規模言語モデルとディープリサーチエージェントは、彼らの主張をサポートするために引用URLを提供するが、これらの引用の信頼性は体系的に測定されていない。 DRBenchの10モデルとエージェント(53,090URL)とExpertQAの3モデル(168,021URL)を用いた引用URLの有効性に関する6つの研究課題に対処する。 引用URLの3-13\%は幻覚的であり、Wayback Machineには記録がなく、おそらく存在しなかった。 ディープリサーチエージェントは、検索増強されたLLMよりもクエリ毎にかなり多くの引用を生成するが、高いレートで幻覚的なURLを生成する。 非解決率は5.4\%(ビジネス)から11.4\%(神学)まで様々であり、モデルごとの効果はさらに大きい。 分解失敗は、あるモデルがすべての非解決URLを作成しているのに対し、あるモデルは真の検索を示すリンク回転率を示していることを示している。 解決策として、Wayback Machine を用いた URL ライブネスチェックと Stale-vs-hallucinated 分類のためのオープンソースツールである urlhealth をリリースする。 エージェントによる自己補正実験では、Ullhealthを装備したモデルでは、非解決的な引用URLを6.6\textrm{--}79\times$ 1\%まで削減するが、有効性はモデルのツール使用能力に依存する。 ツールとすべてのデータは公開されています。 評価結果, 故障分類, オープンソースツールにより, 引用URLの妥当性は大規模に測定可能であり, 実際に修正可能であることが確認された。

関連論文リスト

• BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation [34.429649156970015]
  以前の評価では、検索なしでベースモデルをテストしたが、これは現在の慣行を反映していない。 3つの検索可能なフロンティアモデルでは、9つのフィールドと6方向のエラー分類に基づいてBibエントリを生成する。 全体的な精度は83.6%だが、完全な正確さは50.9%に過ぎない。
  論文  参考訳（メタデータ） (2026-04-03T16:30:58Z)
• CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
  大規模言語モデル (LLM) は新たなリスクを導入している。 本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。 我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-26T19:17:39Z)
• How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations [1.0829694003408499]
  大規模言語モデル(LLM)は、学術的な引用を作るために注目されているが、この振る舞いの範囲はいまだに定量化されていない。 これまでに,4つの学術領域に10のLLMを商業展開させた,最も大きな幻覚誘発検査の1つを報告した。 以上の結果から,観察された幻覚率は5倍の範囲(11.4%から56.8%)で,モデル,ドメイン,迅速なフレーミングによって強く形成されていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-07T00:14:00Z)
• GhostCite: A Large-Scale Analysis of Citation Validity in the Age of Large Language Models [22.147294042024836]
  キュテーションは科学的主張を信頼する基盤を提供するが、それらが無効または製造された場合、この信頼は崩壊する。 LLM(Large Language Models)の出現により、このリスクは増大した。 我々は大規模な引用検証のためのオープンソースのフレームワークであるCiteVerifierを開発した。
  論文  参考訳（メタデータ） (2026-02-06T14:08:34Z)
• The 17% Gap: Quantifying Epistemic Decay in AI-Assisted Survey Papers [0.0]
  『廃紙』は既知の人工物であるが、有効な引用鎖の系統的な劣化はいまだに不明である。 我々は,2024年9月から2026年1月までに発行された人工知能に関する50の最近の調査論文の法医学的な監査を行った。 我々は、攻撃的な法医学的回復にもかかわらず、いかなるデジタルオブジェクトにも解決できない、永続的な17.0%のファントムレートを検出する。
  論文  参考訳（メタデータ） (2026-01-24T12:00:55Z)
• Citation Failure: Definition, Analysis and Efficient Mitigation [56.09968229868067]
  LLMベースのRAGシステムからの引用は、応答検証の簡略化を目的としている。 これは、モデルが有効な応答を生成するとき、引用失敗には当てはまらないが、完全な証拠を引用することができない。 応答自体に欠陥があり、完全な証拠を引用することは不可能である。
  論文  参考訳（メタデータ） (2025-10-23T07:47:22Z)
• WebCiteS: Attributed Query-Focused Summarization on Chinese Web Search Results with Citations [34.99831757956635]
  我々は,属性付きクエリ中心要約 (AQFS) のタスクを定式化するとともに,7kの人称注釈の要約を引用した中国語データセットであるWebCiteSを提示する。 これらの課題に対処するために、詳細なメトリクスを開発し、自動評価器が文を細かな検証のためにサブステートに分解できるようにする。
  論文  参考訳（メタデータ） (2024-03-04T07:06:41Z)
• Evaluating Verifiability in Generative Search Engines [70.59477647085387]
  生成検索エンジンは、インラインの引用とともに、ユーザークエリへの応答を直接生成する。 我々は,一般的な4つの生成検索エンジンの評価を行う。 既存の生成検索エンジンからの応答は流動的であり、情報的に見えるが、しばしばサポートされていない文や不正確な引用を含んでいる。
  論文  参考訳（メタデータ） (2023-04-19T17:56:12Z)
• Deep Graph Learning for Anomalous Citation Detection [55.81334139806342]
  本稿では,新たな深層グラフ学習モデルであるGLAD(Graph Learning for Anomaly Detection)を提案する。 GLADフレームワーク内ではCPU(Citation PUrpose)と呼ばれるアルゴリズムが提案され,引用テキストに基づく引用の目的が明らかになった。
  論文  参考訳（メタデータ） (2022-02-23T09:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。