論文の概要: Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations

• arxiv url: http://arxiv.org/abs/2605.26362v1
• Date: Mon, 25 May 2026 22:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.488847
• Title: Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations
• Title（参考訳）: LLMが構造化知識に幻覚を与える理由--線形表現による推論の力学解析
• Abstract要約: 幻覚はランダムノイズではなく、系統的な内部力学から生じる。 第一に、注意は、完全なコンテキストに分散するのではなく、ショートカットのような構造的手がかりに焦点を合わせている。 第二に、フィードフォワード表現は提供された知識を根拠にせず、モデルがパラメトリックメモリに戻る。
• 参考スコア（独自算出の注目度）: 36.45654492179688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many reasoning tasks, large language models (LLMs) rely on structured external knowledge, such as graphs and tables, which is typically linearized into sequential token representations. However, even when sufficient knowledge is available, LLMs can still produce hallucinated outputs, and the underlying mechanisms behind such failures remain poorly understood. We investigate these mechanisms and find that hallucinations arise from systematic internal dynamics rather than random noise. First, attention disproportionately concentrates toward shortcut-like structural cues rather than distributing across the full context. Second, feed-forward representations fail to ground the provided knowledge, causing the model to revert to parametric memory. Moreover, our results indicate that hallucination is consistently associated with failures in semantic grounding within feed-forward layers, while attention allocation exhibits greater task-dependent variability. Finally, we show that these mechanistic patterns generalize beyond single-hop graphs to multi-hop and tabular settings, enabling effective hallucination detection across structured knowledge formats.
• Abstract（参考訳）: 多くの推論タスクにおいて、大きな言語モデル(LLM)はグラフやテーブルのような構造化された外部知識に依存し、通常はシーケンシャルなトークン表現に線形化される。 しかし、十分な知識が得られても、LLMは依然として幻覚出力を生成でき、そのような失敗の背後にあるメカニズムはよく分かっていない。 これらのメカニズムを解明し、ランダムノイズではなく系統的な内部力学から幻覚が生じることを確認する。 第一に、注意は、完全なコンテキストに分散するのではなく、ショートカットのような構造的手がかりに焦点を合わせている。 第二に、フィードフォワード表現は提供された知識を根拠にせず、モデルがパラメトリックメモリに戻る。 さらに,本研究の結果から,ハロゲン化はフィードフォワード層内のセマンティックグラウンドリングの失敗と一貫して関連していることが明らかとなった。 最後に、これらの力学パターンは、シングルホップグラフを超えて、マルチホップおよび表のセッティングに一般化され、構造化された知識形式間の効果的な幻覚検出を可能にすることを示す。

関連論文リスト

• Disentangling Semantic Attention from Structural Bias in the Attention Manifold [61.68044165974505]
  MLLM(Multimodal Large Language Models)は、意味的に非形式的な視覚トークンに対して不均等な注意を払っている。 本研究では,SPAR(Saliency-guided Purification and Adaptive Redistribution)を導入した。
  論文  参考訳（メタデータ） (2026-07-27T05:30:19Z)
• SLASH the Sink: Sharpening Structural Attention Inside LLMs [55.75072688988806]
  大規模言語モデル(LLM)は目覚ましい意味的理解を示すが、連続化されたフォーマットでグラフトポロジを処理する際に構造的理解に苦慮する。 本稿では,StructuraL Attention SHarpening (SLASH)を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:59:07Z)
• Hallucination Basins: A Dynamic Framework for Understanding and Controlling LLM Hallucinations [13.629487815782355]
  潜在空間におけるタスク依存型盆地構造から幻覚が生じることを示す。 我々は,この動作をタスク複雑度とマルチベース定理で形式化し,L層変圧器における盆地の出現を特徴付けるとともに,幾何学的なステアリングが再学習を伴わずに幻覚の確率を低減できることを示す。
  論文  参考訳（メタデータ） (2026-04-06T15:08:54Z)
• When Do Hallucinations Arise? A Graph Perspective on the Evolution of Path Reuse and Path Compression [41.881697211314396]
  大型言語モデル (LLMs) における幻覚の推論は、しばしば、与えられた文脈または根底にある事実的知識に反する、流動的で否定できない結論として現れる。 本研究は,初等訓練中に記憶された知識が文脈的制約をオーバーライドするtextbfPath Reuse と,多段階の経路を横断する textbfPath Compression の2つの基本的メカニズムから発生していることを示す。
  論文  参考訳（メタデータ） (2026-04-04T02:51:46Z)
• Detecting Hallucinations in Graph Retrieval-Augmented Generation via Attention Patterns and Semantic Alignment [36.45654492179688]
  GraphRAG(Graph-based Retrieval-Augmented Generation)は大規模言語モデル(LLM)を強化する LLMは、入力中の関係やトポロジ的な情報を解釈するのに苦労し、その結果、得られた知識と矛盾する幻覚をもたらす。 本稿では,最短パス三重項の過度信頼度を計測するパス信頼度度(PRD)と,モデルの内部表現が抽出した知識とどのように一致しているかを評価するセマンティックアライメントスコア(SAS)の2つの軽量解釈可能性指標を提案する。
  論文  参考訳（メタデータ） (2025-12-09T21:52:50Z)
• Review of Hallucination Understanding in Large Language and Vision Models [65.29139004945712]
  本稿では,多様なアプリケーションにまたがる画像とテキストの幻覚を特徴付けるフレームワークを提案する。 我々の調査によると、幻覚はデータ分布や遺伝バイアスの予測可能なパターンから生じることが多い。 この調査は、現実世界の生成AIシステムにおける幻覚に対するより堅牢で効果的なソリューションを開発する基盤を提供する。
  論文  参考訳（メタデータ） (2025-09-26T09:23:08Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
  この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。 したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
  論文  参考訳（メタデータ） (2024-09-09T16:01:58Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。