論文の概要: Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection
- arxiv url: http://arxiv.org/abs/2605.08583v1
- Date: Sat, 09 May 2026 00:53:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.756588
- Title: Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection
- Title(参考訳): Source or it didn't happen: a Multi-Agent Framework for Citation Hallucination Detection
- Abstract要約: 既存の検出器は2値の発見/未確定の決定に還元され、監査者へのフィールドレベルの信号はほとんど提供されない。
実, 可能性, および有能な引用にまたがる12のコード分類法を導入する。
CiteTracerはPDFとBibから引用を抽出し、ルックアップURL、学者コネクタ、Web検索を通じて証拠を取得する。
合成ベンチマークでは97.1%の精度に達し、クラスレベルのF1スコアはそれぞれ97.0、95.8、98.5のReal、Val、Halucinatedに到達し、吸収することなく現実世界の幻覚を作る。
- 参考スコア(独自算出の注目度): 30.352741291341843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly used in scientific writing, yet they can fabricate citation-shaped references that appear plausible but fail bibliographic verification. Existing detectors often reduce verification to binary found/not-found decisions and rely on brittle parsing or incomplete retrieval, offering little field-level signal to auditors. We reframe citation hallucination detection as taxonomy-aligned field-level adjudication and introduce a 12-code taxonomy spanning Real, Potential, and Hallucinated citations. Based on this taxonomy, we build CiteTracer, a cascading multi-agent detector that extracts structured citations from PDF and BibTeX, retrieves evidence through cache lookup, URL fetch, scholar connectors, and web search, applies deterministic field matching, and routes ambiguous cases to class-specialist judgers. We release a benchmark of 2,450 synthetic citations built from real seeds with controlled LLM mutations, paired with 957 real-world fabricated citations drawn from ICLR 2026 and an anonymous conference desk-rejected submissions. CiteTracer reaches 97.1% accuracy on the synthetic benchmark, with class-level F1 scores of 97.0, 95.8, and 98.5 for Real, Potential, and Hallucinated, respectively, and detects 97.1% of fabrications on the real-world set without abstaining. Code: https://github.com/aaFrostnova/CiteTracer.
- Abstract(参考訳): 大規模な言語モデルは、科学的な執筆にますます使われているが、引用型の参照を作成できるが、書誌的検証に失敗する。
既存の検出器は、検証をバイナリの発見/未確定の判断に還元し、不安定な解析や不完全な検索に依存し、監査者へのフィールドレベルの信号はほとんど提供しない。
本研究は, 実数, 潜在数, ハロシン化数にまたがる12符号の分類法を導入した。
この分類に基づいて,PDF と BibTeX から構造的引用を抽出し,キャッシュ検索,URLフェッチ,学者コネクタ,Web 検索を通じて証拠を検索し,決定論的フィールドマッチングを適用し,不明瞭なケースをクラススペシャリストの審査員にルーティングする,カスケード型マルチエージェント検出器 CiteTracer を構築した。
我々は,実種子から合成された2,450個の合成引用とLLM変異を制御し,ICLR 2026から引き出された実世界の957個の合成引用と,匿名の会議机を拒絶した提出書とを組み合わせたベンチマークを公表した。
CiteTracerは97.1%の精度に到達し、クラスレベルのF1スコアはそれぞれ97.0、95.8、98.5、Real、Vas、Halucinatedで、吸収することなく実世界の製造物の97.1%を検知する。
コード:https://github.com/aaFrostnova/CiteTracer。
関連論文リスト
- Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research [75.8770212601511]
ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。
循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。
そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
論文 参考訳(メタデータ) (2026-08-25T09:34:18Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - Phantom References: Hallucinated Citations That Survive Peer Review at Top-Tier Conferences [4.766369673059568]
我々は、ICLR、ICML、NeurIPS、USENIX Securityから受理されたカメラ対応の論文にRefCheckerを適用する。
我々は、保守的な定義を用いて、ピアレビューされた手続きにおける引用幻覚を測定する。
結果は、ピアレビューだけでは引用整合性を確実に強制しないが、監査は難航していることを示唆している。
論文 参考訳(メタデータ) (2026-07-01T10:21:07Z) - CiteCheck: Retrieval-Grounded Detection of LLM Citation Hallucinations in Scientific Text [39.146761527401424]
我々は、引用幻覚検出のためのフレームワークであるCiteCheckを紹介する。
CiteCheckは外部の学術文献から候補者の出版物を検索し、構造化LCM検証器を用いて抽出された候補と比較し、検証器のスコアをExact、Minor、Majorの3つのラベルにマップする。
ホールドアウトテストセットでは、CiteCheck は 88.7マクロF1 と 88.9% の精度を実現し、GPT、Claude、Gemini のベースラインを上回り、Web 検索や少数ショットの亜種を含む。
論文 参考訳(メタデータ) (2026-05-26T21:20:40Z) - HalluCiteChecker: A Lightweight Toolkit for Hallucinated Citation Detection and Verification in the Era of AI Scientists [58.87954687016989]
HalluCiteCheckerは、科学論文の幻覚的引用を検出し検証するためのツールキットである。
私たちのコードはGitHubのApache 2.0ライセンスでリリースされており、PyPI経由でインストール可能なパッケージとして配布されています。
論文 参考訳(メタデータ) (2026-04-29T16:01:42Z) - How unique are hallucinated citations offered by generative Artificial Intelligence models? [0.0]
本稿では,生成型AIがハロゲン化された学術文献を生成・伝播する方法について検討する。
ベン・ウィリアムソンとネッリ・ピアトエヴァによる「教育のガバナンスとデータフィケーション」の反復的な引用に焦点を当てている。
これは、幻覚的引用はランダムな発明ではなく、実際の著者、雑誌、日付、キーワードのパターン化された組換えであることを示している。
論文 参考訳(メタデータ) (2026-03-31T21:24:34Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳(メタデータ) (2026-02-26T19:17:39Z) - How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations [1.0829694003408499]
大規模言語モデル(LLM)は、学術的な引用を作るために注目されているが、この振る舞いの範囲はいまだに定量化されていない。
これまでに,4つの学術領域に10のLLMを商業展開させた,最も大きな幻覚誘発検査の1つを報告した。
以上の結果から,観察された幻覚率は5倍の範囲(11.4%から56.8%)で,モデル,ドメイン,迅速なフレーミングによって強く形成されていることが明らかとなった。
論文 参考訳(メタデータ) (2026-02-07T00:14:00Z) - BibAgent: An Agentic Framework for Traceable Miscitation Detection in Scientific Literature [21.872874595027824]
BibAgentは、自動引用検証のためのスケーラブルでエンドツーエンドのエージェントフレームワークである。
検索、推論、アダプティブ・エビデンス・アグリゲーションを統合し、アクセス可能で有料のソースに戦略を適用する。
以上の結果から,BibAgentは引用精度と解釈可能性において,最先端のLarge Language Model(LLM)のベースラインよりも優れていた。
論文 参考訳(メタデータ) (2026-01-12T16:30:45Z) - Hallucinations in Bibliographic Recommendation: Citation Frequency as a Proxy for Training Data Redundancy [0.0]
大型幻覚モデル (LLMs) は幅広いタスクに適用されてきている。
この研究は、LLMが情報を正しく生成する能力は、基礎となる知識が生成されるか記憶されるかに依存すると仮定する。
論文 参考訳(メタデータ) (2025-10-29T10:51:35Z) - DeepTRACE: Auditing Deep Research AI Systems for Tracking Reliability Across Citations and Evidence [50.97612134791782]
生成検索エンジンと深層研究のLLMエージェントは、信頼できるソース・グラウンドの合成を約束するが、ユーザーは常に過剰な自信、弱いソーシング、紛らわしい引用の慣行に遭遇する。
DeepTRACEは、社会技術的に基礎をおく新しい監査フレームワークで、コミュニティが特定した失敗事例を、回答テキスト、情報源、引用にまたがる8つの測定可能な次元に変換する。
論文 参考訳(メタデータ) (2025-09-02T00:32:38Z) - Deep Graph Learning for Anomalous Citation Detection [55.81334139806342]
本稿では,新たな深層グラフ学習モデルであるGLAD(Graph Learning for Anomaly Detection)を提案する。
GLADフレームワーク内ではCPU(Citation PUrpose)と呼ばれるアルゴリズムが提案され,引用テキストに基づく引用の目的が明らかになった。
論文 参考訳(メタデータ) (2022-02-23T09:05:28Z) - Towards generating citation sentences for multiple references with
intent control [86.53829532976303]
We build a novel generation model with the Fusion-in-Decoder approach to handlee with multiple long inputs。
実験により,提案手法は引用文を生成するためのより包括的な特徴を提供することが示された。
論文 参考訳(メタデータ) (2021-12-02T15:32:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。