論文の概要: On the Fundamental Impossibility of Hallucination Control in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.06382v2
• Date: Wed, 02 Jul 2025 12:24:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:57.752902
• Title: On the Fundamental Impossibility of Hallucination Control in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける幻覚制御の基本的不可能性について
• Authors: Michał P. Karpowicz,
• Abstract要約: 大規模言語モデルにおける完全幻覚制御は数学的には不可能であることを示す。 この不合理性は基本的なものであり、工学的な制限ではなく、情報集約自体の数学的構造から生じている。 この研究は、ニューラルネットワークの推論、知識と推論の哲学、ゲーム理論と情報理論における古典的な結果との深い関係を明らかにし、数学的な制約の中で有益なAIシステムを開発するための新しい研究の方向を開く。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We prove that perfect hallucination control in large language models is mathematically impossible. No LLM inference mechanism can simultaneously achieve truthful response generation, semantic information conservation, relevant knowledge revelation, and knowledge-constrained optimality. This impossibility is fundamental, arising from the mathematical structure of information aggregation itself rather than engineering limitations. The proof spans three mathematical frameworks: auction theory, proper scoring theory for probabilistic predictions, and log-sum-exp analysis for transformer architectures. In each setting, we demonstrate that information aggregation creates unavoidable violations of conservation principles. The Jensen gap in transformer probability aggregation provides a direct measure of this impossibility. These results reframe hallucination from an engineering bug to an inevitable mathematical feature of distributed intelligence. There are fundamental trade-offs between truthfulness, knowledge utilization, and response completeness, providing principled foundations for managing rather than eliminating hallucination. This work reveals deep connections between neural network inference, philosophy of knowledge and reasoning, and classical results in game theory and information theory, opening new research directions for developing beneficial AI systems within mathematical constraints.
• Abstract（参考訳）: 大規模言語モデルにおける完全幻覚制御は数学的には不可能であることを示す。 LLM推論機構は, 真理応答生成, 意味情報保存, 関連する知識の啓示, 知識に制約のある最適性を同時に達成できない。 この不合理性は基本的なものであり、工学的な制限ではなく、情報集約自体の数学的構造から生じている。 この証明は、オークション理論、確率的予測のための適切なスコアリング理論、トランスフォーマーアーキテクチャのための対数-sum-exp分析の3つの数学的枠組みにまたがる。 各設定において,情報集約が保護原則の不可避な違反を生じさせることを示す。 変圧器確率アグリゲーションにおけるジェンセンギャップは、この不合理性の直接測度を与える。 これらの結果は、工学的なバグから、分散インテリジェンスの必然的な数学的特徴へと、幻覚を再構築する。 真理性、知識利用、応答完全性の間には根本的なトレードオフがあり、幻覚を取り除くのではなく、管理のための原則化された基盤を提供する。 この研究は、ニューラルネットワークの推論、知識と推論の哲学、ゲーム理論と情報理論における古典的な結果との深い関係を明らかにし、数学的な制約の中で有益なAIシステムを開発するための新しい研究の方向を開く。

関連論文リスト

• From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models [20.244145418997377]
  音声モデルとテキストモデルによって学習された概念構造を,個人的,共同的に分析する。 ニューラルネットワークの潜在表現を探索する教師なし手法である潜在概念解析を用いて、意味的抽象がモーダル間にどのように形成されるかを調べる。
  論文  参考訳（メタデータ） (2025-06-01T19:33:21Z)
• DeepTheorem: Advancing LLM Reasoning for Theorem Proving Through Natural Language and Reinforcement Learning [67.93945726549289]
  DeepTheoremは、数学的推論を強化するために自然言語を活用する包括的な非公式な定理証明フレームワークである。 DeepTheoremには、121Kの高品質なIMOレベルの非公式な定理と証明からなる大規模なベンチマークデータセットが含まれている。 我々は、証明された定理の変種を利用して堅牢な数学的推論を動機付けることによって、非公式な定理証明に適した新しい強化学習戦略(RL-Zero)を考案する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:39Z)
• No Free Lunch: Fundamental Limits of Learning Non-Hallucinating Generative Models [14.535583931446807]
  我々は,非ハロゲン化生成モデルの学習可能性を分析する理論的枠組みを開発する。 学習プロセスに実際の事実と整合した帰納的バイアスを組み込むことが重要であることを示す。
  論文  参考訳（メタデータ） (2024-10-24T23:57:11Z)
• LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
  この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。 したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
  論文  参考訳（メタデータ） (2024-09-09T16:01:58Z)
• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Exploring the Limits of Fine-grained LLM-based Physics Inference via Premise Removal Interventions [0.0]
  言語モデル(LM)は複雑な数学的推論を行う際に幻覚を与える。 物理的な文脈では、記号的な操作は複雑な意味論を満たすことが要求される。 この設定では、LMsの数学的推論は物理学的インフォームドされていない。
  論文  参考訳（メタデータ） (2024-04-29T02:43:23Z)
• Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
  言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。 言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。 単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
  論文  参考訳（メタデータ） (2020-11-22T17:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。