論文の概要: From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data
- arxiv url: http://arxiv.org/abs/2606.07537v1
- Date: Wed, 29 Apr 2026 11:34:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.686808
- Title: From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data
- Title（参考訳）: アーキテクチャから出力へ:大規模言語モデルにおける幻覚の構造的起源とデータの増幅的役割
- Authors: Md. Rejaul Korim Sadi, Toufiqur Rahman Tasin, Golam Mostofa Naeem,
- Abstract要約: 本稿では,複合故障システムを構成する3つのアーキテクチャ決定の構造的帰結として幻覚を解析する。
自己認識の共起学習は、意味論的意味の統計的近接を代用し、実体的混乱を生み出す。
露光バイアス下での自己回帰復号の永続的な左から右へのコミットは、1つの間違ったトークンカスケードがリビジョンなしで出力シーケンス全体を通して前方に進むことを保証します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models hallucinate--producing fluent, confident, factually wrong outputs--with a consistency that persists across generations and scales. Existing taxonomies classify hallucination by output type, distinguishing intrinsic from extrinsic failures and faithfulness from factuality divergence. These frameworks are descriptively rigorous but do not identify which internal mechanism produced a given instance. This paper analyses hallucination as a structural consequence of three architectural decisions that together form a compound failure system. Self-attention's co-occurrence learning substitutes statistical proximity for semantic meaning and produces entity confusion, fact misattribution, and semantic drift. The maximum likelihood estimation training objective optimises next-token probability without factual constraint, rewarding statistically plausible outputs regardless of their truth value. Autoregressive decoding's permanent left-to-right commitment under exposure bias ensures that a single wrong token cascades forward through the entire output sequence without revision. Dataset pathologies--long-tail deficiencies, training bias, and synthetic pollution--amplify these vulnerabilities but do not independently cause them. We make three contributions. First, we map each mechanism to a specific output category in the Alansari and Luqman taxonomy, locating intrinsic hallucination in self-attention, extrinsic hallucination in MLE, and logical inconsistency in autoregressive decoding. Second, we show that each commonly cited dataset pathology exploits one of these mechanisms rather than originating hallucination independently. Third, we identify the diagnostic limitation of output-type-only classification and contrast it with inference-layer mitigation approaches.
- Abstract（参考訳）: 大規模言語モデルは、世代や規模にまたがって持続する一貫性を持って、流動的で自信があり、事実的に間違ったアウトプットを生成する。
既存の分類学は、アウトプットタイプによって幻覚を分類し、内在的な失敗と外在的な失敗と忠実さと事実の相違を区別する。
これらのフレームワークは記述的に厳密だが、どの内部メカニズムが与えられたインスタンスを生成するかは特定していない。
本稿では,複合故障システムを構成する3つのアーキテクチャ決定の構造的帰結として幻覚を解析する。
自己認識の共起学習は、意味論的意味の統計的近接を代用し、実体的混乱、事実的誤帰、意味的ドリフトを生み出す。
最大極大推定訓練は、実数制約なしで次の確率を最適化し、真理値に関係なく統計的に妥当な出力を報いる。
露光バイアス下での自己回帰復号の永続的な左から右へのコミットは、1つの間違ったトークンカスケードがリビジョンなしで出力シーケンス全体を通して前方に進むことを保証します。
データセットの病理(長い尾の欠陥、訓練バイアス、合成汚染)はこれらの脆弱性を増幅するが、独立してそれらを引き起こすわけではない。
私たちは3つの貢献をします。
まず,各メカニズムをアラサリ分類とルクマン分類の特定の出力カテゴリにマッピングし,自己注意における内因性幻覚,MLEにおける外因性幻覚,自己回帰復号における論理的不整合を同定した。
第二に、一般的に引用される各データセットの病理は、幻覚を独立に発生させるのではなく、これらのメカニズムの1つを利用していることを示す。
第三に、出力型のみ分類の診断限界を特定し、推論層緩和手法と対比する。
関連論文リスト
- Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。
本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2026-03-16T17:20:38Z) - HART: Data-Driven Hallucination Attribution and Evidence-Based Tracing for Large Language Models [4.211691393530721]
我々は,大規模言語モデルに対する微細な幻覚の帰属とエビデンス検索の枠組みであるHARTを提案する。
HARTは幻覚追跡を、局所化、メカニズム帰属、エビデンス検索、因果トレースの4段階からなる構造化モデリングタスクとして定式化する。
この定式化に基づいて,幻覚追跡に適した最初の構造化データセットを開発した。
論文 参考訳（メタデータ） (2026-03-06T02:23:55Z) - Incentives or Ontology? A Structural Rebuttal to OpenAI's Hallucination Thesis [0.42970700836450487]
我々は、幻覚は最適化の失敗ではなく、トランスフォーマーモデルのアーキテクチャ上の必然性であると主張している。
実験の結果,幻覚は,外的真理検証と禁忌モジュールによってのみ除去できることが示唆された。
幻覚は生成的アーキテクチャの構造的特性であると結論付けている。
論文 参考訳（メタデータ） (2025-12-16T17:39:45Z) - Distributional Semantics Tracing: A Framework for Explaining Hallucinations in Large Language Models [4.946483489399819]
大規模言語モデル(LLM)は、事実的に誤った文を生成する幻覚の傾向にある。
この研究は、3つの主要な貢献を通じて、この障害モードの本質的、アーキテクチャ的起源について調査する。
論文 参考訳（メタデータ） (2025-10-07T16:40:31Z) - How Large Language Models are Designed to Hallucinate [0.42970700836450487]
幻覚はトランスフォーマーアーキテクチャの構造的な結果であると主張する。
本研究の貢献は,(1) 既存の説明が不十分な理由を示す比較説明,(2) 提案されたベンチマークによる実存的構造に関連付けられた幻覚の予測分類,(3) 開示の欠如を抑えることの可能な「真理に制約された」アーキテクチャへの設計方針,の3つである。
論文 参考訳（メタデータ） (2025-09-19T16:46:27Z) - Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers [80.70134000599391]
我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。
OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。
我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
論文 参考訳（メタデータ） (2025-06-12T16:50:45Z) - Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。
主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。
ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T06:34:45Z) - Towards Understanding Text Hallucination of Diffusion Models via Local Generation Bias [76.85949078144098]
本稿では,拡散モデルが個々のシンボルを正しく生成するが,それらを意味のない方法で組み立てるテキスト幻覚に焦点を当てる。
このような現象は,ネットワークの局所的生成バイアスに起因すると考えられる。
また、ハイパーキューブ上の2層学習パリティポイントを含む特定のケースのトレーニングダイナミクスを理論的に解析する。
論文 参考訳（メタデータ） (2025-03-05T15:28:50Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳（メタデータ） (2022-01-25T06:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。