論文の概要: Hallucination is a Consequence of Space-Optimality: A Rate-Distortion Theorem for Membership Testing

• arxiv url: http://arxiv.org/abs/2602.00906v4
• Date: Thu, 05 Feb 2026 07:24:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 14:11:23.834678
• Title: Hallucination is a Consequence of Space-Optimality: A Rate-Distortion Theorem for Membership Testing
• Title（参考訳）: 幻覚は空間最適性の連続である:メンバーシップテストの速度歪曲理論
• Authors: Anxin Guo, Jingwei Li,
• Abstract要約: 大きな言語モデルはしばしば「ランダムな事実」に高い信頼を持って幻覚を与える 我々はそのような事実の記憶を会員試験問題として定式化する。 幻覚は, 損失圧縮の自然な帰結として持続することを示す。
• 参考スコア（独自算出の注目度）: 3.4782736103257323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models often hallucinate with high confidence on "random facts" that lack inferable patterns. We formalize the memorization of such facts as a membership testing problem, unifying the discrete error metrics of Bloom filters with the continuous log-loss of LLMs. By analyzing this problem in the regime where facts are sparse in the universe of plausible claims, we establish a rate-distortion theorem: the optimal memory efficiency is characterized by the minimum KL divergence between score distributions on facts and non-facts. This theoretical framework provides a distinctive explanation for hallucination: even with optimal training, perfect data, and a simplified "closed world" setting, the information-theoretically optimal strategy under limited capacity is not to abstain or forget, but to assign high confidence to some non-facts, resulting in hallucination. We validate this theory empirically on synthetic data, showing that hallucinations persist as a natural consequence of lossy compression.
• Abstract（参考訳）: 大規模言語モデルは、しばしば、推論可能なパターンが欠如している「ランダムな事実」に高い信頼を持って幻覚を与える。 我々は,このような事実の記憶を会員試験問題として定式化し,ブルームフィルタの離散誤差メトリクスとLLMの連続ログロスを統一する。 証明可能なクレームの宇宙において事実がスパースである状態においてこの問題を分析することにより、最適メモリ効率は、事実と非事実のスコア分布の最小KLばらつきによって特徴づけられる、レート歪曲定理を確立する。 この理論の枠組みは幻覚の独特な説明を提供する: 最適な訓練、完璧なデータ、そして単純化された「閉ざされた世界」の設定であっても、限られた能力の下での情報理論的に最適な戦略は、放棄または忘れることではなく、いくつかの非事実に高い信頼を割り当てることであり、幻覚に繋がる。 我々はこの理論を人工的なデータに基づいて実証的に検証し、幻覚が損失圧縮の自然な結果として持続することを示した。

関連論文リスト

• HalluGuard: Demystifying Data-Driven and Reasoning-Driven Hallucinations in LLMs [20.59139155257836]
  データ駆動および推論駆動コンポーネントに幻覚リスクを分解する統合理論フレームワークを導入する。 本稿では,NTKをベースとしたHaluGuardについて紹介する。このスコアはNTKのジオメトリとキャプチャー表現を利用して,データ駆動および推論駆動の幻覚を共同で同定する。
  論文  参考訳（メタデータ） (2026-01-26T18:23:09Z)
• Are Hallucinations Bad Estimations? [19.11290014868759]
  損失最小化の最適推定器でさえまだ幻覚的であることを示す。 これにより、幻覚は損失最小化と人間の許容できる出力の間の構造的ミスアライメントとして再編成される。
  論文  参考訳（メタデータ） (2025-09-25T19:39:09Z)
• Theoretical Foundations and Mitigation of Hallucination in Large Language Models [0.0]
  LLM(英: Hallucination in Large Language Models)とは、入力や実世界の事実に忠実でないコンテンツの生成を指す用語である。 本稿では, LLMにおける幻覚の厳密な処理について述べる。
  論文  参考訳（メタデータ） (2025-07-20T15:22:34Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• The Law of Knowledge Overshadowing: Towards Understanding, Predicting, and Preventing LLM Hallucination [85.18584652829799]
  本稿では,知識のシェードイングをモデル化することで,事実の幻覚を定量化する新しい枠組みを提案する。 オーバシャドウ(27.9%)、MemoTrap(13.1%)、NQ-Swap(18.3%)のモデル事実性を顕著に向上させる。
  論文  参考訳（メタデータ） (2025-02-22T08:36:06Z)
• Hallucinations are inevitable but can be made statistically negligible. The "innate" inevitability of hallucinations cannot explain practical LLM issues [23.12905996928255]
  言語モデル(LM)が非現実的コンテンツを生成する現象である幻覚は、LMの実践的な展開に重大な課題をもたらす。 最近の研究は計算可能性理論的な結果を確立し、いかなるLMも必然的に無限の入力に対して幻覚を発生させることを示した。 本稿では,計算可能性理論と対角論から生じる「自然的」不可避性は,原則として,LMの実践的問題を説明できないと主張している。
  論文  参考訳（メタデータ） (2025-02-15T07:28:40Z)
• LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
  この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。 したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
  論文  参考訳（メタデータ） (2024-09-09T16:01:58Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。