論文の概要: How Large Language Models are Designed to Hallucinate

• arxiv url: http://arxiv.org/abs/2509.16297v1
• Date: Fri, 19 Sep 2025 16:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.728057
• Title: How Large Language Models are Designed to Hallucinate
• Title（参考訳）: 言語モデルが幻覚にどのように設計されるか
• Authors: Richard Ackermann, Simeon Emanuilov,
• Abstract要約: 幻覚はトランスフォーマーアーキテクチャの構造的な結果であると主張する。 本研究の貢献は,(1) 既存の説明が不十分な理由を示す比較説明,(2) 提案されたベンチマークによる実存的構造に関連付けられた幻覚の予測分類,(3) 開示の欠如を抑えることの可能な「真理に制約された」アーキテクチャへの設計方針,の3つである。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) achieve remarkable fluency across linguistic and reasoning tasks but remain systematically prone to hallucination. Prevailing accounts attribute hallucinations to data gaps, limited context, or optimization errors. We argue instead that hallucination is a structural outcome of the transformer architecture. As coherence engines, transformers are compelled to produce fluent continuations, with self-attention simulating the relational structure of meaning but lacking the existential grounding of temporality, mood, and care that stabilizes human understanding. On this basis, we distinguish ontological hallucination, arising when continuations require disclosure of beings in world, and residual reasoning hallucination, where models mimic inference by recycling traces of human reasoning in text. We illustrate these patterns through case studies aligned with Heideggerian categories and an experiment across twelve LLMs showing how simulated "self-preservation" emerges under extended prompts. Our contribution is threefold: (1) a comparative account showing why existing explanations are insufficient; (2) a predictive taxonomy of hallucination linked to existential structures with proposed benchmarks; and (3) design directions toward "truth-constrained" architectures capable of withholding or deferring when disclosure is absent. We conclude that hallucination is not an incidental defect but a defining limit of transformer-based models, an outcome scaffolding can mask but never resolve.
• Abstract（参考訳）: 大規模言語モデル(LLM)は言語的・推論的なタスクにまたがって顕著な流布を達成するが、体系的に幻覚の傾向が残る。 一般的なアカウント属性は、データギャップ、限られたコンテキスト、最適化エラーに対する幻覚である。 幻覚はトランスフォーマーアーキテクチャの構造的な結果であると主張する。 コヒーレンスエンジンとして、トランスフォーマーは、意味の関連構造をシミュレートしながら、時間性、ムード、そして人間の理解を安定させるケアを欠いた、流動的な継続を強制される。 そこで本研究では,人間による推論のリサイクルによる推論を模擬する,存在論的幻覚,世界における存在の開示を必要とする連続性の出現,残余の推論幻覚を区別する。 これらのパターンは,Heideggerianのカテゴリに沿ったケーススタディと,拡張プロンプト下での「自己保存」のシミュレーションがいかに現れるかを示す12のLSMを対象とした実験を通して説明する。 本研究の貢献は,(1) 既存の説明が不十分な理由を示す比較説明,(2) 提案されたベンチマークによる実存的構造に関連付けられた幻覚の予測分類,(3) 開示の欠如を抑えることの可能な「真理に制約された」アーキテクチャへの設計方針,の3つである。 我々は、幻覚は偶発的な欠陥ではなく、トランスフォーマーモデルの定義限界であり、結果の足場はマスクできるが、決して解決しないと結論づける。

関連論文リスト

• Two Causes, Not One: Rethinking Omission and Fabrication Hallucinations in MLLMs [31.601057368065877]
  既存の手法は、省略と製造幻覚が共通の原因を共有するという欠点のある仮定に基づいており、しばしば省略を減らし、より多くの製造を誘発する。 本研究は,視覚的特徴を言語表現にマッピングする場合に,排他的幻覚が不十分な自信から生じることを示すことによって,この見解を覆すものである。 本研究では,物体の存在や不在を視覚的証拠がどのように推測するかを明らかにする概念的枠組みである視覚意味的注意力場を提案する。
  論文  参考訳（メタデータ） (2025-08-30T05:47:41Z)
• HEAL: An Empirical Study on Hallucinations in Embodied Agents Driven by Large Language Models [30.596530112268848]
  本研究では,大規模な言語モデルにおいて,シーン・タスクの不整合下での長時間の作業を行う幻覚に関する最初の体系的研究について述べる。 私たちのゴールは、幻覚の発生範囲、どのような不整合が引き起こされるか、現在のモデルがどのように反応するかを理解することです。
  論文  参考訳（メタデータ） (2025-06-18T02:13:41Z)
• Shadows in the Attention: Contextual Perturbation and Representation Drift in the Dynamics of Hallucination in LLMs [6.190663515080656]
  本研究は,幻覚の発生と文脈注入による内的状態のドリフトを関連づけた最初の系統的研究である。 TruthfulQAを用いて、1問16ラウンドの"titration"トラックを2つ構築する。 我々は,コサイン,エントロピー,JS,スピアマンの隠れ状態と注意マップのドリフトを通じて,三重対角検出器と隠蔽ダイナミクスを用いて,過剰幻覚率を追跡する。
  論文  参考訳（メタデータ） (2025-05-22T16:50:58Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Mechanistic Understanding and Mitigation of Language Model Non-Factual Hallucinations [42.46721214112836]
  State-of-the-art Language Model (LM) は、世界の知識と混同する非現実的な幻覚を生じることがある。 我々は、主観的関係クエリを用いた診断データセットを作成し、内部モデル表現による幻覚の追跡に解釈可能性手法を適用した。
  論文  参考訳（メタデータ） (2024-03-27T00:23:03Z)
• Do Androids Know They're Only Dreaming of Electric Sheep? [45.513432353811474]
  我々は,その幻覚行動を予測するために,トランスフォーマー言語モデルの内部表現を訓練したプローブを設計する。 我々の探査機は訓練が狭く、訓練領域に敏感であることが分かりました。 モデル状態が利用可能である場合,探索は言語モデル幻覚評価に代わる実現可能かつ効率的な代替手段であることが判明した。
  論文  参考訳（メタデータ） (2023-12-28T18:59:50Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。