論文の概要: FACTUM: Mechanistic Detection of Citation Hallucination in Long-Form RAG

• arxiv url: http://arxiv.org/abs/2601.05866v2
• Date: Fri, 16 Jan 2026 13:21:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 14:30:44.014755
• Title: FACTUM: Mechanistic Detection of Citation Hallucination in Long-Form RAG
• Title（参考訳）: FACTUM : 長期RAGにおけるCitation Hallucinationの機械的検出
• Authors: Maxime Dassen, Rebecca Kotula, Kenton Murray, Andrew Yates, Dawn Lawrie, Efsun Kayi, James Mayfield, Kevin Duh,
• Abstract要約: Retrieval-Augmented Generation (RAG)モデルは、引用幻覚によって著しく損なわれている。 FACTUMは、アンダーライジングメカニズムを介してCitation Trustworthinessをテストするためのフレームワークである。 我々の分析によると、正しい引用は、常に高いパラメトリック力によって特徴付けられる。 この複雑な相互作用を捉えることで、FACTUMは最先端のベースラインを37.5%向上させる。
• 参考スコア（独自算出の注目度）: 29.07623863966094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) models are critically undermined by citation hallucinations, a deceptive failure where a model cites a source that fails to support its claim. While existing work attributes hallucination to a simple over-reliance on parametric knowledge, we reframe this failure as an evolving, scale-dependent coordination failure between the Attention (reading) and Feed-Forward Network (recalling) pathways. We introduce FACTUM (Framework for Attesting Citation Trustworthiness via Underlying Mechanisms), a framework of four mechanistic scores: Contextual Alignment (CAS), Attention Sink Usage (BAS), Parametric Force (PFS), and Pathway Alignment (PAS). Our analysis reveals that correct citations are consistently marked by higher parametric force (PFS) and greater use of the attention sink (BAS) for information synthesis. Crucially, we find that "one-size-fits-all" theories are insufficient as the signature of correctness evolves with scale: while the 3B model relies on high pathway alignment (PAS), our best-performing 8B detector identifies a shift toward a specialized strategy where pathways provide distinct, orthogonal information. By capturing this complex interplay, FACTUM outperforms state-of-the-art baselines by up to 37.5% in AUC. Our results demonstrate that high parametric force is constructive when successfully coordinated with the Attention pathway, paving the way for more nuanced and reliable RAG systems.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)モデルは、モデルがその主張を支持しないソースを引用する偽りの失敗である引用幻覚によって、批判的に弱められている。 既存の作業は、パラメトリックな知識に対する単純な過度な信頼による幻覚を特徴としていますが、私たちはこの失敗を、注意(読み取り)とフィードフォワードネットワーク(リコール)の経路の間の、進化し、スケール依存的な調整の失敗として再定義します。 本研究では,CAS(Contextual Alignment),BAS(Attention Sink Usage),PFS(Parametric Force),PAS(Pathway Alignment)の4つのメカニスティックスコアの枠組みであるFACTUM(Attesting Citation Trustworthiness via Underlying Mechanisms)を紹介する。 解析の結果、正しい引用は高いパラメトリック力(PFS)と、情報合成におけるアテンションシンク(BAS)のさらなる利用によって一貫して特徴付けられることが明らかとなった。 3Bモデルはハイパスアライメント(PAS)に依存しているのに対し、我々の最も優れた8B検出器は、経路が明確な直交情報を提供する特別な戦略へのシフトを特定する。 この複雑な相互作用を捉えることで、FACTUMは最先端のベースラインを37.5%向上させる。 以上の結果から,高パラメトリック力は注意経路との協調に成功し,よりニュアンスで信頼性の高いRAGシステムを実現する上で有効であることが示された。

関連論文リスト

• Mechanisms of Prompt-Induced Hallucination in Vision-Language Models [58.991412160253276]
  制御されたオブジェクトカウント設定において、プロンプトが画像中のオブジェクト数をオーバーステートする障害モードについて検討する。 刺激誘発幻覚 (PIH) を, 追加訓練を伴わずに40%以上減少させる小さなアテンションヘッドのセットを同定した。 本研究は, 刺激による幻覚を誘発する内的メカニズムについての知見を提示し, モデル特異的な行動の実施方法の違いを明らかにした。
  論文  参考訳（メタデータ） (2026-01-08T18:23:03Z)
• HalluZig: Hallucination Detection using Zigzag Persistence [0.1687274452793636]
  本稿では,モデルの層的注意の動的トポロジを解析し,幻覚検出のための新しいパラダイムを提案する。 我々の中心となる仮説は、事実的および幻覚的世代は、異なる位相的シグネチャを示すというものである。 フレームワークであるHaluZigを複数のベンチマークで検証し、強力なベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-01-04T14:55:43Z)
• Citation Failure: Definition, Analysis and Efficient Mitigation [56.09968229868067]
  LLMベースのRAGシステムからの引用は、応答検証の簡略化を目的としている。 これは、モデルが有効な応答を生成するとき、引用失敗には当てはまらないが、完全な証拠を引用することができない。 応答自体に欠陥があり、完全な証拠を引用することは不可能である。
  論文  参考訳（メタデータ） (2025-10-23T07:47:22Z)
• Distributional Semantics Tracing: A Framework for Explaining Hallucinations in Large Language Models [4.946483489399819]
  大規模言語モデル(LLM)は、事実的に誤った文を生成する幻覚の傾向にある。 この研究は、3つの主要な貢献を通じて、この障害モードの本質的、アーキテクチャ的起源について調査する。
  論文  参考訳（メタデータ） (2025-10-07T16:40:31Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Pairwise Matching of Intermediate Representations for Fine-grained Explainability [7.415710605852485]
  そこで本研究では,細粒度で高度に局所化された視覚的説明を生成する新しい説明可能性法(PAIR-X)を提案する。 解釈性を改善することで、PAIR-Xは人間が正しいマッチと間違ったマッチを区別するのに役立つ。
  論文  参考訳（メタデータ） (2025-03-28T21:13:43Z)
• Hallucination, Monofacts, and Miscalibration: An Empirical Investigation [2.3278261859840104]
  大規模言語モデルにおける有能な事実は、モノファクトレートによって決定される統計的下界に従う。 古典的なn-gramモデルと微調整エンコーダ・デコーダ変換器におけるこの3方向関係に関する最初の実証的研究を示す。
  論文  参考訳（メタデータ） (2025-02-11T18:46:00Z)
• Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
  大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。 モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。 本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
  論文  参考訳（メタデータ） (2024-03-08T18:28:13Z)
• The Paradox of Motion: Evidence for Spurious Correlations in Skeleton-based Gait Recognition Models [4.089889918897877]
  本研究は、視覚に基づく歩行認識が主に動きパターンに依存しているという一般的な仮定に挑戦する。 高さ情報の除去が顕著な性能低下につながることを比較分析により示す。 本研究では,時間的情報を無視して個々のポーズを処理する空間変換器モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-13T09:33:12Z)
• A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
  シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-02T05:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。