論文の概要: Why Language Models Hallucinate

• arxiv url: http://arxiv.org/abs/2509.04664v1
• Date: Thu, 04 Sep 2025 21:26:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.412472
• Title: Why Language Models Hallucinate
• Title（参考訳）: 言語モデルが幻覚する理由
• Authors: Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang,
• Abstract要約: 大規模な言語モデルは、不確実性を認める代わりに、しばしば不確実性を推測する。 このような「幻覚」は最先端のシステムでも継続し、信頼を損なう。 言語モデルは、不確実性を認識した上で、トレーニングと評価手順が評価に報いるため、幻覚的であると我々は主張する。
• 参考スコア（独自算出の注目度）: 29.666976858078073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty. Such "hallucinations" persist even in state-of-the-art systems and undermine trust. We argue that language models hallucinate because the training and evaluation procedures reward guessing over acknowledging uncertainty, and we analyze the statistical causes of hallucinations in the modern training pipeline. Hallucinations need not be mysterious -- they originate simply as errors in binary classification. If incorrect statements cannot be distinguished from facts, then hallucinations in pretrained language models will arise through natural statistical pressures. We then argue that hallucinations persist due to the way most evaluations are graded -- language models are optimized to be good test-takers, and guessing when uncertain improves test performance. This "epidemic" of penalizing uncertain responses can only be addressed through a socio-technical mitigation: modifying the scoring of existing benchmarks that are misaligned but dominate leaderboards, rather than introducing additional hallucination evaluations. This change may steer the field toward more trustworthy AI systems.
• Abstract（参考訳）: 厳しい試験問題に直面している学生のように、大きな言語モデルは、不確実性を認めるのではなく、確実で不正確な文を生成することがある。 このような「幻覚」は最先端のシステムでも継続し、信頼を損なう。 言語モデルでは,不確実性を認識した場合の学習と評価が報われるため幻覚が生じると論じ,近代的な訓練パイプラインにおける幻覚の統計的原因を解析する。 幻覚は、単に二項分類の誤りとして生じる。誤った文が事実と区別できない場合、事前訓練された言語モデルの幻覚は、自然の統計的圧力によって生じる。それから、ほとんどの評価がランク付けされる方法により、幻覚は継続する、と我々は主張する。言語モデルは、優れたテストテイクラーに最適化され、不確実性がテストパフォーマンスを改善すると推測される。 不確実な応答をペナリゼーションするこの「理想的」は、社会技術的緩和によってのみ対処できる: 幻覚評価を導入するのではなく、不正に調整されているが、リーダーボードを支配している既存のベンチマークのスコアを変更することである。 この変化は、より信頼できるAIシステムに向けての分野を揺るがすかもしれない。

関連論文リスト

• Auditing Meta-Cognitive Hallucinations in Reasoning Large Language Models [8.97308732968526]
  本研究では,制約付き知識領域における幻覚の因果関係について,チェーン・オブ・ソート(Chain-of-Thought)の軌跡を監査することによって検討する。 我々の分析によると、長いCoT設定では、RLLMは欠陥のある反射的推論を通じてバイアスやエラーを反復的に補強することができる。 驚いたことに、幻覚の根源にある直接的な介入でさえ、その効果を覆すことができないことが多い。
  論文  参考訳（メタデータ） (2025-05-19T14:11:09Z)
• Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
  本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。 この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。 CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
  論文  参考訳（メタデータ） (2025-02-18T15:46:31Z)
• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Do Androids Know They're Only Dreaming of Electric Sheep? [45.513432353811474]
  我々は,その幻覚行動を予測するために,トランスフォーマー言語モデルの内部表現を訓練したプローブを設計する。 我々の探査機は訓練が狭く、訓練領域に敏感であることが分かりました。 モデル状態が利用可能である場合,探索は言語モデル幻覚評価に代わる実現可能かつ効率的な代替手段であることが判明した。
  論文  参考訳（メタデータ） (2023-12-28T18:59:50Z)
• Calibrated Language Models Must Hallucinate [11.891340760198798]
  最近の言語モデルでは、驚くほどの頻度で、偽のもっとも可聴なテキストを生成する。 この研究は、事前訓練された言語モデルがある種の事実を幻覚させる速度に固有の統計的下限が存在することを示している。 訓練データから真偽を判断できない「任意」事実に対して, 幻覚は言語モデルに対して一定の速度で発生しなければならないことを示す。
  論文  参考訳（メタデータ） (2023-11-24T18:29:50Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。