論文の概要: When Do Hallucinations Arise? A Graph Perspective on the Evolution of Path Reuse and Path Compression

• arxiv url: http://arxiv.org/abs/2604.03557v1
• Date: Sat, 04 Apr 2026 02:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.638905
• Title: When Do Hallucinations Arise? A Graph Perspective on the Evolution of Path Reuse and Path Compression
• Title（参考訳）: 幻覚はいつ起きるか : 経路再利用と経路圧縮の進化に関するグラフ的考察
• Authors: Xinnan Dai, Kai Yang, Cheng Luo, Shenglai Zeng, Kai Guo, Jiliang Tang,
• Abstract要約: 大型言語モデル (LLMs) における幻覚の推論は、しばしば、与えられた文脈または根底にある事実的知識に反する、流動的で否定できない結論として現れる。 本研究は,初等訓練中に記憶された知識が文脈的制約をオーバーライドするtextbfPath Reuse と,多段階の経路を横断する textbfPath Compression の2つの基本的メカニズムから発生していることを示す。
• 参考スコア（独自算出の注目度）: 41.881697211314396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning hallucinations in large language models (LLMs) often appear as fluent yet unsupported conclusions that violate either the given context or underlying factual knowledge. Although such failures are widely observed, the mechanisms by which decoder-only Transformers produce them remain poorly understood. We model next-token prediction as a graph search process over an underlying graph, where entities correspond to nodes and learned transitions form edges. From this perspective, contextual reasoning is a constrained search over a sampled subgraph (intrinsic reasoning), while context-free queries rely on memorized structures in the underlying graph (extrinsic reasoning). We show that reasoning hallucinations arise from two fundamental mechanisms: \textbf{Path Reuse}, where memorized knowledge overrides contextual constraints during early training, and \textbf{Path Compression}, where frequently traversed multi-step paths collapse into shortcut edges in later training. Together, these mechanisms provide a unified explanation for reasoning hallucinations in LLMs and connected to well-known behaviors observed in downstream applications.
• Abstract（参考訳）: 大型言語モデル (LLMs) における幻覚の推論は、しばしば、与えられた文脈または根底にある事実的知識に反する、流動的で否定できない結論として現れる。 このような故障は広く観測されているが、デコーダのみのトランスフォーマーが生成するメカニズムはよく分かっていない。 我々は、ノードに対応するエンティティと学習された遷移がエッジを形成するグラフ探索プロセスとして、次トーケン予測をモデル化する。 この観点では、文脈推論はサンプリングされた部分グラフ(内在的推論)上の制約付き探索であり、一方文脈自由なクエリは基礎となるグラフ(外在的推論)の記憶構造に依存している。 推論幻覚は、初期訓練中に知識が文脈制約をオーバーライドする「textbf{Path Reuse}」と、多段階の経路を頻繁に横断する「textbf{Path Compression}」の2つの基本的なメカニズムから生じる。 これらのメカニズムは、LLMにおける推論幻覚を統一的に説明し、下流のアプリケーションでよく見られる行動と結びついている。

関連論文リスト

• Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
  マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。 textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
  論文  参考訳（メタデータ） (2026-02-03T11:00:55Z)
• Distributional Semantics Tracing: A Framework for Explaining Hallucinations in Large Language Models [4.946483489399819]
  大規模言語モデル(LLM)は、事実的に誤った文を生成する幻覚の傾向にある。 この研究は、3つの主要な貢献を通じて、この障害モードの本質的、アーキテクチャ的起源について調査する。
  論文  参考訳（メタデータ） (2025-10-07T16:40:31Z)
• How Large Language Models are Designed to Hallucinate [0.42970700836450487]
  幻覚はトランスフォーマーアーキテクチャの構造的な結果であると主張する。 本研究の貢献は,(1) 既存の説明が不十分な理由を示す比較説明,(2) 提案されたベンチマークによる実存的構造に関連付けられた幻覚の予測分類,(3) 開示の欠如を抑えることの可能な「真理に制約された」アーキテクチャへの設計方針,の3つである。
  論文  参考訳（メタデータ） (2025-09-19T16:46:27Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• Auditing Meta-Cognitive Hallucinations in Reasoning Large Language Models [12.747507415841168]
  本研究では,制約付き知識領域における幻覚の因果関係について,チェーン・オブ・ソート(Chain-of-Thought)の軌跡を監査することによって検討する。 我々の分析によると、長いCoT設定では、RLLMは欠陥のある反射的推論を通じてバイアスやエラーを反復的に補強することができる。 驚いたことに、幻覚の原因の直接的な介入でさえも、連鎖が「連鎖不規則性」を示すため、その効果を覆すことができないことが多い。
  論文  参考訳（メタデータ） (2025-05-19T14:11:09Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
  この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。 ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。 その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。