論文の概要: On the Fundamental Impossibility of Hallucination Control in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.06382v3
• Date: Tue, 08 Jul 2025 11:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 12:20:17.755285
• Title: On the Fundamental Impossibility of Hallucination Control in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける幻覚制御の基本的不可能性について
• Authors: Michał P. Karpowicz,
• Abstract要約: 大規模言語モデルにおける完全幻覚制御は数学的には不可能であることを示す。 この不合理性は基本的なものであり、工学的な制限ではなく、情報集約自体の数学的構造から生じている。 この研究は、ニューラルネットワークの推論、知識と推論の哲学、ゲーム理論と情報理論における古典的な結果との深い関係を明らかにし、数学的な制約の中で有益なAIシステムを開発するための新しい研究の方向を開く。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We prove that perfect hallucination control in large language models is mathematically impossible. No LLM inference mechanism can simultaneously achieve truthful response generation, semantic information conservation, relevant knowledge revelation, and knowledge-constrained optimality. This impossibility is fundamental, arising from the mathematical structure of information aggregation itself rather than engineering limitations. The proof spans three mathematical frameworks: auction theory, proper scoring theory for probabilistic predictions, and log-sum-exp analysis for transformer architectures. In each setting, we demonstrate that information aggregation creates unavoidable violations of conservation principles. The Jensen gap in transformer probability aggregation provides a direct measure of this impossibility. These results reframe hallucination from an engineering bug to an inevitable mathematical feature of distributed intelligence. There are fundamental trade-offs between truthfulness, knowledge utilization, and response completeness, providing principled foundations for managing rather than eliminating hallucination. This work reveals deep connections between neural network inference, philosophy of knowledge and reasoning, and classical results in game theory and information theory, opening new research directions for developing beneficial AI systems within mathematical constraints.
• Abstract（参考訳）: 大規模言語モデルにおける完全幻覚制御は数学的には不可能であることを示す。 LLM推論機構は, 真理応答生成, 意味情報保存, 関連する知識の啓示, 知識に制約のある最適性を同時に達成できない。 この不合理性は基本的なものであり、工学的な制限ではなく、情報集約自体の数学的構造から生じている。 この証明は、オークション理論、確率的予測のための適切なスコアリング理論、トランスフォーマーアーキテクチャのための対数-sum-exp分析の3つの数学的枠組みにまたがる。 各設定において,情報集約が保護原則の不可避な違反を生じさせることを示す。 変圧器確率アグリゲーションにおけるジェンセンギャップは、この不合理性の直接測度を与える。 これらの結果は、工学的なバグから、分散インテリジェンスの必然的な数学的特徴へと、幻覚を再構築する。 真理性、知識利用、応答完全性の間には根本的なトレードオフがあり、幻覚を取り除くのではなく、管理のための原則化された基盤を提供する。 この研究は、ニューラルネットワークの推論、知識と推論の哲学、ゲーム理論と情報理論における古典的な結果との深い関係を明らかにし、数学的な制約の中で有益なAIシステムを開発するための新しい研究の方向を開く。

関連論文リスト

• From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models [20.244145418997377]
  音声モデルとテキストモデルによって学習された概念構造を,個人的,共同的に分析する。 ニューラルネットワークの潜在表現を探索する教師なし手法である潜在概念解析を用いて、意味的抽象がモーダル間にどのように形成されるかを調べる。
  論文  参考訳（メタデータ） (2025-06-01T19:33:21Z)
• DeepTheorem: Advancing LLM Reasoning for Theorem Proving Through Natural Language and Reinforcement Learning [67.93945726549289]
  DeepTheoremは、数学的推論を強化するために自然言語を活用する包括的な非公式な定理証明フレームワークである。 DeepTheoremには、121Kの高品質なIMOレベルの非公式な定理と証明からなる大規模なベンチマークデータセットが含まれている。 我々は、証明された定理の変種を利用して堅牢な数学的推論を動機付けることによって、非公式な定理証明に適した新しい強化学習戦略(RL-Zero)を考案する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:39Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• In-situ graph reasoning and knowledge expansion using Graph-PReFLexOR [0.0]
  グラフ推論とシンボリック抽象化を組み合わせてドメイン知識を動的に拡張するフレームワークであるGraph-PReFLexORを提案する。 強化学習に触発されて、推論は構造化されたマッピングとして定義され、タスクが知識グラフ、抽象パターン、そして最終的には最終回答を生み出す。 その結果、より優れた推論深度と適応性を示し、透明で多分野のAI駆動型発見の可能性を示している。
  論文  参考訳（メタデータ） (2025-01-14T13:52:41Z)
• No Free Lunch: Fundamental Limits of Learning Non-Hallucinating Generative Models [14.535583931446807]
  我々は,非ハロゲン化生成モデルの学習可能性を分析する理論的枠組みを開発する。 学習プロセスに実際の事実と整合した帰納的バイアスを組み込むことが重要であることを示す。
  論文  参考訳（メタデータ） (2024-10-24T23:57:11Z)
• Turing Video-based Cognitive Tests to Handle Entangled Concepts [0.0]
  本稿では,概念的組み合わせに関する革新的なビデオベース認知テストの結果について述べる。 収集したデータは量子理論フレームワーク内で忠実にモデル化可能であることを示す。 我々は,物理界と認知界の両方に絡み合いの出現について,新しい説明を提供する。
  論文  参考訳（メタデータ） (2024-09-13T14:30:55Z)
• LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
  この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。 したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
  論文  参考訳（メタデータ） (2024-09-09T16:01:58Z)
• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Exploring the Limits of Fine-grained LLM-based Physics Inference via Premise Removal Interventions [0.0]
  言語モデル(LM)は複雑な数学的推論を行う際に幻覚を与える。 物理的な文脈では、記号的な操作は複雑な意味論を満たすことが要求される。 この設定では、LMsの数学的推論は物理学的インフォームドされていない。
  論文  参考訳（メタデータ） (2024-04-29T02:43:23Z)
• A Probabilistic-Logic based Commonsense Representation Framework for Modelling Inferences with Multiple Antecedents and Varying Likelihoods [5.87677276882675]
  コモンセンス・ナレッジグラフ(英: Commonsense knowledge-graphs、CKG)は、テキストや環境入力で「推論」でき、知覚を超えた推論ができる機械を構築するための重要なリソースである。 本研究は,コモンセンス知識の表現方法として, (i) 複合的推論知識をモデル化し,様々な可能性で概念的信念を表現するための確率論的論理表現スキーム, (ii) 健全な概念関連関係を同定し,異なる概念レベルで信念を整理する階層的概念オントロジーを取り入れることにより, コモンセンス知識をより良く表現することができるかを検討する。
  論文  参考訳（メタデータ） (2022-11-30T08:44:30Z)
• On Binding Objects to Symbols: Learning Physical Concepts to Understand Real from Fake [155.6741526791004]
  我々は、ディープニューラルネットワークが合成データを生成する驚くべき能力に照らして、古典的な信号と記号の障壁を再考する。 物理オブジェクトを抽象概念として特徴付け,それ以前の解析を用いて,物理オブジェクトが有限なアーキテクチャで符号化可能であることを示す。 我々は、有限時間でデジタルIDに物理的実体を結合することは、有限資源で可能であると結論付けた。
  論文  参考訳（メタデータ） (2022-07-25T17:21:59Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• A Mathematical Walkthrough and Discussion of the Free Energy Principle [0.0]
  自由エネルギー原理(英: Free-Energy-Principle、FEP)は、自己組織化の熱力学と変分推論による学習との関係を仮定する影響力があり、議論を呼んでいる理論である。 FEPは神経科学に広く応用され、行動、知覚、学習が単一の目的の下で統一される新しい強力なアルゴリズムの構築を刺激することで、機械学習に進出し始めている。 ここでは、FEPの定式化と中心的主張の数学的に詳細かつ直感的なウォークスルーを提供するとともに、理論の仮定と潜在的な限界について議論する。
  論文  参考訳（メタデータ） (2021-08-30T16:11:49Z)
• Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
  言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。 言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。 単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
  論文  参考訳（メタデータ） (2020-11-22T17:28:50Z)
• Logical Neural Networks [51.46602187496816]
  ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。 すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。 推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
  論文  参考訳（メタデータ） (2020-06-23T16:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。