論文の概要: Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations

• arxiv url: http://arxiv.org/abs/2605.26362v1
• Date: Mon, 25 May 2026 22:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.488847
• Title: Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations
• Title（参考訳）: LLMが構造化知識に幻覚を与える理由--線形表現による推論の力学解析
• Authors: Shanghao Li, Jinda Han, Yibo Wang, Yuanjie Zhu, Zihe Song, Langzhou He, Kenan Kamel A Alghythee, Philip S. Yu,
• Abstract要約: 幻覚はランダムノイズではなく、系統的な内部力学から生じる。 第一に、注意は、完全なコンテキストに分散するのではなく、ショートカットのような構造的手がかりに焦点を合わせている。 第二に、フィードフォワード表現は提供された知識を根拠にせず、モデルがパラメトリックメモリに戻る。
• 参考スコア（独自算出の注目度）: 36.45654492179688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many reasoning tasks, large language models (LLMs) rely on structured external knowledge, such as graphs and tables, which is typically linearized into sequential token representations. However, even when sufficient knowledge is available, LLMs can still produce hallucinated outputs, and the underlying mechanisms behind such failures remain poorly understood. We investigate these mechanisms and find that hallucinations arise from systematic internal dynamics rather than random noise. First, attention disproportionately concentrates toward shortcut-like structural cues rather than distributing across the full context. Second, feed-forward representations fail to ground the provided knowledge, causing the model to revert to parametric memory. Moreover, our results indicate that hallucination is consistently associated with failures in semantic grounding within feed-forward layers, while attention allocation exhibits greater task-dependent variability. Finally, we show that these mechanistic patterns generalize beyond single-hop graphs to multi-hop and tabular settings, enabling effective hallucination detection across structured knowledge formats.
• Abstract（参考訳）: 多くの推論タスクにおいて、大きな言語モデル(LLM)はグラフやテーブルのような構造化された外部知識に依存し、通常はシーケンシャルなトークン表現に線形化される。 しかし、十分な知識が得られても、LLMは依然として幻覚出力を生成でき、そのような失敗の背後にあるメカニズムはよく分かっていない。 これらのメカニズムを解明し、ランダムノイズではなく系統的な内部力学から幻覚が生じることを確認する。 第一に、注意は、完全なコンテキストに分散するのではなく、ショートカットのような構造的手がかりに焦点を合わせている。 第二に、フィードフォワード表現は提供された知識を根拠にせず、モデルがパラメトリックメモリに戻る。 さらに,本研究の結果から,ハロゲン化はフィードフォワード層内のセマンティックグラウンドリングの失敗と一貫して関連していることが明らかとなった。 最後に、これらの力学パターンは、シングルホップグラフを超えて、マルチホップおよび表のセッティングに一般化され、構造化された知識形式間の効果的な幻覚検出を可能にすることを示す。

関連論文リスト

• SLASH the Sink: Sharpening Structural Attention Inside LLMs [55.75072688988806]
  大規模言語モデル(LLM)は目覚ましい意味的理解を示すが、連続化されたフォーマットでグラフトポロジを処理する際に構造的理解に苦慮する。 本稿では,StructuraL Attention SHarpening (SLASH)を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:59:07Z)
• Hallucination Basins: A Dynamic Framework for Understanding and Controlling LLM Hallucinations [13.629487815782355]
  潜在空間におけるタスク依存型盆地構造から幻覚が生じることを示す。 我々は,この動作をタスク複雑度とマルチベース定理で形式化し,L層変圧器における盆地の出現を特徴付けるとともに,幾何学的なステアリングが再学習を伴わずに幻覚の確率を低減できることを示す。
  論文  参考訳（メタデータ） (2026-04-06T15:08:54Z)
• When Do Hallucinations Arise? A Graph Perspective on the Evolution of Path Reuse and Path Compression [41.881697211314396]
  大型言語モデル (LLMs) における幻覚の推論は、しばしば、与えられた文脈または根底にある事実的知識に反する、流動的で否定できない結論として現れる。 本研究は,初等訓練中に記憶された知識が文脈的制約をオーバーライドするtextbfPath Reuse と,多段階の経路を横断する textbfPath Compression の2つの基本的メカニズムから発生していることを示す。
  論文  参考訳（メタデータ） (2026-04-04T02:51:46Z)
• Detecting Hallucinations in Graph Retrieval-Augmented Generation via Attention Patterns and Semantic Alignment [36.45654492179688]
  GraphRAG(Graph-based Retrieval-Augmented Generation)は大規模言語モデル(LLM)を強化する LLMは、入力中の関係やトポロジ的な情報を解釈するのに苦労し、その結果、得られた知識と矛盾する幻覚をもたらす。 本稿では,最短パス三重項の過度信頼度を計測するパス信頼度度(PRD)と,モデルの内部表現が抽出した知識とどのように一致しているかを評価するセマンティックアライメントスコア(SAS)の2つの軽量解釈可能性指標を提案する。
  論文  参考訳（メタデータ） (2025-12-09T21:52:50Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。