論文の概要: Do Large Language Models Hallucinate Electric Fata Morganas?
- arxiv url: http://arxiv.org/abs/2608.18816v1
- Date: Wed, 19 Aug 2026 11:14:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.382342
- Title: Do Large Language Models Hallucinate Electric Fata Morganas?
- Title(参考訳): 大規模言語モデルは電気的ファタ・モーガンを幻滅させるか?
- Abstract要約: 大規模言語モデルにおける幻覚の既知の原因について検討する。
温度が上がると、不正確な答えが得られ、温度が下がると実際に正確な結果が得られます。
2つ目は、百科事典データに基づいて訓練されたエンコーダのみのモデルである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI hallucinations - that is, outputs which are made up, cannot be verified, or contradict the source material - are generally regarded as an engineering flaw to be dealt with. This paper contends that they also have philosophical significance when it comes to the question of machine consciousness. We examine the known causes of hallucinations in large language models - such as source-target divergence, discrepancies between training and inference, and overfitting - and we present two empirical investigations. In the first, we apply successive generations of the GPT model to ambiguous factual questions under different temperature settings, finding that higher temperatures result in plausible but incorrect answers while lower temperatures lead to factually accurate ones. The sampling parameters that cause a model to seem creative or spontaneous and thus more likely to pass behavioral tests of intelligence are the same ones that increase its hallucination rate. In the second, we look at an encoder-only model that has been trained on encyclopedic data and which answers questions of the same type factually and without embellishment, indicating that hallucinations are due to exposure to subjective and socially diverse training data rather than to the development of any cognitive ability. Using references to Turing, Searle's Chinese Room, the frame problem, and the cybernetic tradition of Wiener and Ashby, we claim that a model's self-reports of emotion or sentience come within the definition of hallucination, and that any future occurrence of machine consciousness might remain epistemically inaccessible since it would be indistinguishable from a sufficiently advanced hallucination.
- Abstract(参考訳): AI幻覚(AI Hallucination) — すなわち、構成され、検証できない、あるいはソース資料と矛盾するアウトプット — は、一般的に対処すべき技術的欠陥と見なされる。
本論では,機械意識の問題に関しても哲学的意義があることを論じる。
本研究では,大言語モデルにおける幻覚の既知の原因について検討する。例えば,ソース・ターゲットのばらつき,トレーニングと推論の相違,過剰適合などである。
第1に, 温度設定の違いによる不明瞭な事実質問に対して, GPTモデルを連続的に適用し, 温度が高いほど, 正確な解答が得られない一方で, 温度が低い場合には, 現実的に正確な解答が導かれることを示した。
モデルが創造的あるいは自発的に見え、したがって知能の行動テストに合格する確率の高いサンプリングパラメータは、幻覚率を上昇させるのと同じパラメータである。
第2に,百科事典データに基づいて訓練されたエンコーダのみのモデルについて検討し,そのモデルでは,認知能力の発達ではなく,主観的,社会的に多様な訓練データによる幻覚が原因であることが示唆された。
ターリング、サールの中国室、フレーム問題、そしてウィーナーとアシュビーのサイバーネティックな伝統を参考に、モデルの感情や感覚の自己報告は幻覚の定義の中にあり、マシン意識の将来の発生は、十分に進歩した幻覚とは区別できないため、認識不能のままであると主張している。
関連論文リスト
- How Large Language Models are Designed to Hallucinate [0.42970700836450487]
幻覚はトランスフォーマーアーキテクチャの構造的な結果であると主張する。
本研究の貢献は,(1) 既存の説明が不十分な理由を示す比較説明,(2) 提案されたベンチマークによる実存的構造に関連付けられた幻覚の予測分類,(3) 開示の欠如を抑えることの可能な「真理に制約された」アーキテクチャへの設計方針,の3つである。
論文 参考訳(メタデータ) (2025-09-19T16:46:27Z) - Why Language Models Hallucinate [29.666976858078073]
大規模な言語モデルは、不確実性を認める代わりに、しばしば不確実性を推測する。
このような「幻覚」は最先端のシステムでも継続し、信頼を損なう。
言語モデルは、不確実性を認識した上で、トレーニングと評価手順が評価に報いるため、幻覚的であると我々は主張する。
論文 参考訳(メタデータ) (2025-09-04T21:26:31Z) - The Law of Knowledge Overshadowing: Towards Understanding, Predicting, and Preventing LLM Hallucination [85.18584652829799]
本稿では,知識のシェードイングをモデル化することで,事実の幻覚を定量化する新しい枠組みを提案する。
オーバシャドウ(27.9%)、MemoTrap(13.1%)、NQ-Swap(18.3%)のモデル事実性を顕著に向上させる。
論文 参考訳(メタデータ) (2025-02-22T08:36:06Z) - Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。
この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。
CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
論文 参考訳(メタデータ) (2025-02-18T15:46:31Z) - Distinguishing Ignorance from Error in LLM Hallucinations [43.62904897907926]
モデルがパラメータに正しい答えを持たない場合、HK-と呼ばれる場合、HK+と呼ばれる必要な知識があるにもかかわらず、モデルが正しく答えない場合の2つのタイプの幻覚を区別する。
モデル固有の幻覚データセットの構築をモチベーションとし,異なるモデルが異なる例に幻覚を呈することを示す。
論文 参考訳(メタデータ) (2024-10-29T14:31:33Z) - Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
「我々はこの現象を知識の誇張として造る。」
その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。
本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
論文 参考訳(メタデータ) (2024-07-10T20:37:42Z) - On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。
正しい解答知識を持つLLMの現象を推論力学の観点から検討する。
我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
論文 参考訳(メタデータ) (2024-03-29T06:48:30Z) - Do Androids Know They're Only Dreaming of Electric Sheep? [45.513432353811474]
我々は,その幻覚行動を予測するために,トランスフォーマー言語モデルの内部表現を訓練したプローブを設計する。
我々の探査機は訓練が狭く、訓練領域に敏感であることが分かりました。
モデル状態が利用可能である場合,探索は言語モデル幻覚評価に代わる実現可能かつ効率的な代替手段であることが判明した。
論文 参考訳(メタデータ) (2023-12-28T18:59:50Z) - On Early Detection of Hallucinations in Factual Question Answering [4.76359068115052]
幻覚は依然として ユーザーの信頼を得るための大きな障害です
本研究では、モデル生成に関連するアーティファクトが、生成が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。
以上の結果から,これらのアーティファクトの分布は,ハロゲン化世代と非ハロゲン化世代の違いが示唆された。
論文 参考訳(メタデータ) (2023-12-19T14:35:04Z) - Evaluating Hallucinations in Chinese Large Language Models [65.4771562909392]
我々は,中国大言語モデルにおける幻覚現象を測定するために,HaluQA(中国語幻覚質問回答)というベンチマークを構築した。
GLM-130B と ChatGPT の2種類の幻覚について考察した。
評価のために,モデル出力が幻覚的かどうかを判定するために,GPT-4を用いた自動評価手法を設計する。
論文 参考訳(メタデータ) (2023-10-05T07:57:09Z) - On the Origin of Hallucinations in Conversational Models: Is it the
Datasets or the Models? [32.41234580068662]
既存の知識基盤型対話型ベンチマークといくつかの最先端モデルについて検討する。
標準ベンチマークは60%以上の幻覚応答で構成されており、幻覚だけでなく幻覚を増幅するモデルにつながっている。
この結果から,既存のデータセットやモデルの品質に関する重要な疑問が浮かび上がっている。
論文 参考訳(メタデータ) (2022-04-17T05:15:24Z) - On Hallucination and Predictive Uncertainty in Conditional Language
Generation [76.18783678114325]
高い予測の不確実性は幻覚の確率が高い。
認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。
提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
論文 参考訳(メタデータ) (2021-03-28T00:32:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。