論文の概要: How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations

• arxiv url: http://arxiv.org/abs/2603.03299v1
• Date: Sat, 07 Feb 2026 00:14:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.123823
• Title: How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations
• Title（参考訳）: LLMがなぜ重要か:AI支援学術書記法における参照作成のクロスモデル監査とファントム・サイテーションの検出方法
• Authors: MZ Naser,
• Abstract要約: 大規模言語モデル(LLM)は、学術的な引用を作るために注目されているが、この振る舞いの範囲はいまだに定量化されていない。 これまでに,4つの学術領域に10のLLMを商業展開させた,最も大きな幻覚誘発検査の1つを報告した。 以上の結果から,観察された幻覚率は5倍の範囲(11.4%から56.8%)で,モデル,ドメイン,迅速なフレーミングによって強く形成されていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 1.0829694003408499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have been noted to fabricate scholarly citations, yet the scope of this behavior across providers, domains, and prompting conditions remains poorly quantified. We present one of the largest citation hallucination audits to date, in which 10 commercially deployed LLMs were prompted across four academic domains, generating 69,557 citation instances verified against three scholarly databases (namely, CrossRef, OpenAlex, and Semantic Scholar). Our results show that the observed hallucination rates span a fivefold range (between 11.4% and 56.8%) and are strongly shaped by model, domain, and prompt framing. Our results also show that no model spontaneously generates citations when unprompted, which seems to establish hallucination as prompt-induced rather than intrinsic. We identify two practical filters: 1) multi-model consensus (with more than 3 LLMs citing the same work yields 95.6% accuracy, a 5.8-fold improvement), and 2) within-prompt repetition (with more than 2 replications yields 88.9% accuracy). In addition, we present findings on generational model tracking, which reveal that improvements are not guaranteed when deploying newer LLMs, and on capacity scaling, which appears to reduce hallucination within model families. Finally, a lightweight classifier trained solely on bibliographic string features is developed to classify hallucinated citations from verified citations, achieving AUC 0.876 in cross-validation and 0.834 in LOMO generalization (without querying any external database). This classifier offers a pre-screening tool deployable at inference time.
• Abstract（参考訳）: 大規模言語モデル (LLM) は学術的な引用を作るために注目されているが、この行動の範囲は提供者、ドメイン、そして状況の促進に乏しいままである。 これまでに,3つの学術データベース(CrossRef,OpenAlex,Semantic Scholar)に対して検証された69,557件の引用事例を作成した。 以上の結果から,観察された幻覚率は5倍の範囲(11.4%から56.8%)で,モデル,ドメイン,迅速なフレーミングによって強く形成されていることが明らかとなった。 また, 本研究の結果から, 幻覚は内因性ではなく, 即発性である可能性が示唆された。 2つの実用的なフィルタを同定する。 1)マルチモデルコンセンサス(同一の作業で95.6%の精度、5.8倍の改善)、及び 2回以上複製すると88.9%の精度が得られる)。 さらに,新しいLCMのデプロイ時に改善が保証されない世代別モデル追跡や,モデルファミリー内の幻覚を減少させると思われるキャパシティスケーリングについて報告する。 最後に,書誌文字列の特徴のみに特化して訓練された軽量な分類器を開発し,検証された引用から幻覚的引用を分類し,クロスバリデーションでAUC 0.876,LOMOの一般化で0.834を達成した。 この分類器は、推論時にデプロイ可能なプレスクリーンツールを提供する。

関連論文リスト

• CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
  大規模言語モデル (LLM) は新たなリスクを導入している。 本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。 我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-26T19:17:39Z)
• Self-reflection in Automated Qualitative Coding: Improving Text Annotation through Secondary LLM Critique [1.5749416770494706]
  大規模言語モデル(LLM)は、大規模なデータセットの高度な定性的な符号化を可能にする。 簡単な一般化可能な2段階のワークフローを提示する: LLMは人間設計のコードブックを適用し、二次LPM批評家は各正のラベルに対して自己回帰を行う。 我々は,Apache Software Foundationのプロジェクト評価に関する議論において,3,000件以上の高コンテンツメールに対する6つの定性的なコードに対して,このアプローチを評価した。
  論文  参考訳（メタデータ） (2026-01-14T22:27:13Z)
• The Semantic Illusion: Certified Limits of Embedding-Based Hallucination Detection in RAG Systems [0.0]
  幻覚予測をRAG検出に適用し、スコアを有限サンプルカバレッジ保証付き決定セットに変換する。 分布尾レンズを用いてこの障害を分析し,NLIモデルが許容可能なAUC(0.81)を達成する一方で,「最も厳しい」幻覚は,忠実な応答と意味的に区別できないことを示した。
  論文  参考訳（メタデータ） (2025-12-17T04:22:28Z)
• Attribution in Scientific Literature: New Benchmark and Methods [41.64918533152914]
  大規模言語モデル(LLM)は、科学的コミュニケーションにおいて、自動ソース引用のための有望だが挑戦的なフロンティアを提供する。 本稿では、arXivから12の科学領域にまたがる文レベルのアノテーションを備えた新しいデータセットREASONSを紹介する。 我々は、GPT-O1、GPT-4O、GPT-3.5、DeepSeekなどのモデルや、Perplexity AI (7B)のような他の小さなモデルで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-05-03T16:38:51Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。