論文の概要: On the Fundamental Impossibility of Hallucination Control in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.06382v7
• Date: Wed, 15 Oct 2025 22:25:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 16:37:10.398273
• Title: On the Fundamental Impossibility of Hallucination Control in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける幻覚制御の基本的不可能性について
• Authors: Michał P. Karpowicz,
• Abstract要約: 不合理性理論:非自明な知識集約を行うLLMは、真理的な知識表現、意味情報保存、関連する知識の啓示を同時に達成できない。 提案手法は,アイデアのオークションとして推論をモデル化し,分散コンポーネントが符号化された知識を用いて応答に影響を与えることを証明している。 幻覚と想像力は数学的に同一であり、どちらも4つの重要な性質のうちの少なくとも1つに反する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper establishes a fundamental Impossibility Theorem: no LLM performing non-trivial knowledge aggregation can simultaneously achieve truthful knowledge representation, semantic information conservation, complete revelation of relevant knowledge, and knowledge-constrained optimality. This impossibility stems from the mathematical structure of information aggregation, not from engineering limitations. We prove this by modeling inference as an auction of ideas, where distributed components compete to influence responses using their encoded knowledge. The proof employs three independent approaches: mechanism design (Green-Laffont theorem), proper scoring rules (Savage), and transformer architecture analysis (log-sum-exp convexity). We introduce the semantic information measure and the emergence operator to analyze computationally bounded and unbounded reasoning. Bounded reasoning makes latent information accessible, enabling gradual insights and creativity, while unbounded reasoning makes all derivable knowledge immediately accessible while preserving the semantic content. We prove the conservation-reasoning dichotomy: meaningful reasoning necessarily violates information conservation. Our framework suggests that hallucination and imagination are mathematically identical, and both violate at least one of the four essential properties. The Jensen gap in transformer attention quantifies this violation as excess confidence beyond constituent evidence. This unified view explains why capable models must balance truthfulness against creativity. These results provide principled foundations for managing hallucination trade-offs in AI systems. Rather than eliminating hallucination, we should optimize these inevitable trade-offs for specific applications. We conclude with philosophical implications connecting the impossibility to fundamental limits of reason.
• Abstract（参考訳）: 本稿では,非自明な知識集約を行うLLMが,真理的な知識表現,意味情報保存,関連する知識の完全な啓示,知識に制約のある最適性を同時に達成できない,という基本的な不合理性理論を確立する。 この不合理性は、工学的限界ではなく、情報集約の数学的構造に由来する。 提案手法は,アイデアのオークションとして推論をモデル化し,分散コンポーネントが符号化された知識を用いて応答に影響を与えることを証明している。 この証明には、メカニズム設計(Green-Laffont定理)、適切なスコアリングルール(Savage)、トランスフォーマーアーキテクチャ解析(log-sum-exp凸性)の3つの独立したアプローチが採用されている。 意味情報測度と出現演算子を導入し、計算的有界および非有界推論を解析する。 境界推論は潜伏情報にアクセスし、段階的な洞察と創造性を可能にする一方で、境界推論はすべての派生可能な知識を即座にアクセスし、セマンティックな内容を保存する。 我々は,情報保護に必ずしも違反する有意義な推論という,保全的二分法を証明した。 我々の枠組みは、幻覚と想像力は数学的に同一であり、どちらも4つの本質的な性質のうちの少なくとも1つに違反していることを示唆している。 変圧器の注意におけるジェンセンギャップは、この違反を構成的証拠を超えた過剰な自信として定量化している。 この統一された見解は、有能なモデルが創造性と真理性のバランスを取る必要がある理由を説明する。 これらの結果は、AIシステムにおける幻覚のトレードオフを管理するための原則的な基盤を提供する。 幻覚をなくすのではなく、特定のアプリケーションに対して避けられないトレードオフを最適化する必要がある。 我々は、不合理性を基本的な理性限界に結びつける哲学的含意を結論付けている。

関連論文リスト

• From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models [20.244145418997377]
  音声モデルとテキストモデルによって学習された概念構造を,個人的,共同的に分析する。 ニューラルネットワークの潜在表現を探索する教師なし手法である潜在概念解析を用いて、意味的抽象がモーダル間にどのように形成されるかを調べる。
  論文  参考訳（メタデータ） (2025-06-01T19:33:21Z)
• DeepTheorem: Advancing LLM Reasoning for Theorem Proving Through Natural Language and Reinforcement Learning [67.93945726549289]
  DeepTheoremは、数学的推論を強化するために自然言語を活用する包括的な非公式な定理証明フレームワークである。 DeepTheoremには、121Kの高品質なIMOレベルの非公式な定理と証明からなる大規模なベンチマークデータセットが含まれている。 我々は、証明された定理の変種を利用して堅牢な数学的推論を動機付けることによって、非公式な定理証明に適した新しい強化学習戦略(RL-Zero)を考案する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:39Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• In-situ graph reasoning and knowledge expansion using Graph-PReFLexOR [0.0]
  グラフ推論とシンボリック抽象化を組み合わせてドメイン知識を動的に拡張するフレームワークであるGraph-PReFLexORを提案する。 強化学習に触発されて、推論は構造化されたマッピングとして定義され、タスクが知識グラフ、抽象パターン、そして最終的には最終回答を生み出す。 その結果、より優れた推論深度と適応性を示し、透明で多分野のAI駆動型発見の可能性を示している。
  論文  参考訳（メタデータ） (2025-01-14T13:52:41Z)
• No Free Lunch: Fundamental Limits of Learning Non-Hallucinating Generative Models [14.535583931446807]
  我々は,非ハロゲン化生成モデルの学習可能性を分析する理論的枠組みを開発する。 学習プロセスに実際の事実と整合した帰納的バイアスを組み込むことが重要であることを示す。
  論文  参考訳（メタデータ） (2024-10-24T23:57:11Z)
• Turing Video-based Cognitive Tests to Handle Entangled Concepts [0.0]
  本稿では,概念的組み合わせに関する革新的なビデオベース認知テストの結果について述べる。 収集したデータは量子理論フレームワーク内で忠実にモデル化可能であることを示す。 我々は,物理界と認知界の両方に絡み合いの出現について,新しい説明を提供する。
  論文  参考訳（メタデータ） (2024-09-13T14:30:55Z)
• LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
  この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。 したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
  論文  参考訳（メタデータ） (2024-09-09T16:01:58Z)
• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Exploring the Limits of Fine-grained LLM-based Physics Inference via Premise Removal Interventions [0.0]
  言語モデル(LM)は複雑な数学的推論を行う際に幻覚を与える。 物理的な文脈では、記号的な操作は複雑な意味論を満たすことが要求される。 この設定では、LMsの数学的推論は物理学的インフォームドされていない。
  論文  参考訳（メタデータ） (2024-04-29T02:43:23Z)
• A Probabilistic-Logic based Commonsense Representation Framework for Modelling Inferences with Multiple Antecedents and Varying Likelihoods [5.87677276882675]
  コモンセンス・ナレッジグラフ(英: Commonsense knowledge-graphs、CKG)は、テキストや環境入力で「推論」でき、知覚を超えた推論ができる機械を構築するための重要なリソースである。 本研究は,コモンセンス知識の表現方法として, (i) 複合的推論知識をモデル化し,様々な可能性で概念的信念を表現するための確率論的論理表現スキーム, (ii) 健全な概念関連関係を同定し,異なる概念レベルで信念を整理する階層的概念オントロジーを取り入れることにより, コモンセンス知識をより良く表現することができるかを検討する。
  論文  参考訳（メタデータ） (2022-11-30T08:44:30Z)
• On Binding Objects to Symbols: Learning Physical Concepts to Understand Real from Fake [155.6741526791004]
  我々は、ディープニューラルネットワークが合成データを生成する驚くべき能力に照らして、古典的な信号と記号の障壁を再考する。 物理オブジェクトを抽象概念として特徴付け,それ以前の解析を用いて,物理オブジェクトが有限なアーキテクチャで符号化可能であることを示す。 我々は、有限時間でデジタルIDに物理的実体を結合することは、有限資源で可能であると結論付けた。
  論文  参考訳（メタデータ） (2022-07-25T17:21:59Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• A Mathematical Walkthrough and Discussion of the Free Energy Principle [0.0]
  自由エネルギー原理(英: Free-Energy-Principle、FEP)は、自己組織化の熱力学と変分推論による学習との関係を仮定する影響力があり、議論を呼んでいる理論である。 FEPは神経科学に広く応用され、行動、知覚、学習が単一の目的の下で統一される新しい強力なアルゴリズムの構築を刺激することで、機械学習に進出し始めている。 ここでは、FEPの定式化と中心的主張の数学的に詳細かつ直感的なウォークスルーを提供するとともに、理論の仮定と潜在的な限界について議論する。
  論文  参考訳（メタデータ） (2021-08-30T16:11:49Z)
• Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
  言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。 言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。 単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
  論文  参考訳（メタデータ） (2020-11-22T17:28:50Z)
• Logical Neural Networks [51.46602187496816]
  ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。 すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。 推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
  論文  参考訳（メタデータ） (2020-06-23T16:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。