論文の概要: On the Fundamental Impossibility of Hallucination Control in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.06382v4
• Date: Wed, 06 Aug 2025 11:34:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:08.899548
• Title: On the Fundamental Impossibility of Hallucination Control in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける幻覚制御の基本的不可能性について
• Authors: Michał P. Karpowicz,
• Abstract要約: 本稿では,非自明な知識集約を実現するLLMが,真に整合した知識表現を同時に達成できないという,基本的な不合理性定理を確立する。 この不可能性は工学的な制限ではなく、情報集約自体の数学的構造から生じる。 幻覚と想像力が数学的に同一現象であることを示すことによって、情報保存の必要な違反において、先進的なAIシステムにおいてこれらの行動を管理するための原則的基盤を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper establishes a fundamental impossibility theorem: no LLM capable performing non-trivial knowledge aggregation can simultaneously achieve truthful (internally consistent) knowledge representation, semantic information conservation, complete revelation of relevant knowledge, and knowledge-constrained optimality. This impossibility is not an engineering limitation but arises from the mathematical structure of information aggregation itself. We establish this result by describing the inference process as an auction of ideas, where distributed components compete exploiting their partial knowledge to shape responses. The proof spans three independent mathematical domains: mechanism design theory (Green-Laffont), the theory of proper scoring rules (Savage), and direct architectural analysis of transformers (Log-Sum-Exp convexity). In particular, we show how in the strictly concave settings the score of an aggregate of diverse beliefs strictly exceeds the sum of individual scores. That gap may quantify the creation of unattributable certainty or overconfidence -- the mathematical origin of both hallucination and creativity, or imagination. To support this analysis, we introduce the complementary concepts of the semantic information measure and the emergence operator to model bounded reasoning in a general setting. We prove that while bounded reasoning generates accessible information, providing valuable insights and inspirations, idealized reasoning strictly preserves semantic content. By demonstrating that hallucination and imagination are mathematically identical phenomena-grounded in the necessary violation of information conservation-this paper offers a principled foundation for managing these behaviors in advanced AI systems. Finally, we present some speculative ideas to inspire evaluation and refinements of the proposed theory.
• Abstract（参考訳）: 本稿では,非自明な知識集約を実現するLLMが,真理(初期整合性)な知識表現,意味情報保存,関連する知識の完全啓示,知識制約のある最適性を同時に達成できないという,基本的な不合理性定理を確立する。 この不可能性は工学的な制限ではなく、情報集約自体の数学的構造から生じる。 この結果は、分散コンポーネントが部分的な知識を活用して応答を形作る、アイデアのオークションとして推論プロセスを記述することによって確立される。 この証明は、メカニズム設計理論(Green-Laffont)、適切なスコアリングルールの理論(Savage)、変換器の直接アーキテクチャ解析(Log-Sum-Exp凸性)の3つの独立した数学的領域にまたがる。 特に、厳密なコンケーブ設定において、多様な信念の集合のスコアが個々のスコアの合計を厳密に超えるかを示す。 このギャップは、幻覚と創造性の両方の数学的起源、あるいは想像力の創造を定量化するかもしれない。 この分析を支援するために,意味情報測度と出現演算子の相補的な概念を導入し,一般の環境での有界推論をモデル化する。 我々は、有界推論がアクセス可能な情報を生成し、価値ある洞察とインスピレーションを提供する一方で、理想化された推論はセマンティックコンテンツを厳密に保存することを示した。 幻覚と想像力が数学的に同じ現象であることを示すことによって、情報保存の必要な違反に基礎を置くことにより、先進的なAIシステムにおいてこれらの行動を管理するための原則的な基盤を提供する。 最後に,提案理論の評価と改良を促す投機的アイデアを提示する。

関連論文リスト

• From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models [20.244145418997377]
  音声モデルとテキストモデルによって学習された概念構造を,個人的,共同的に分析する。 ニューラルネットワークの潜在表現を探索する教師なし手法である潜在概念解析を用いて、意味的抽象がモーダル間にどのように形成されるかを調べる。
  論文  参考訳（メタデータ） (2025-06-01T19:33:21Z)
• DeepTheorem: Advancing LLM Reasoning for Theorem Proving Through Natural Language and Reinforcement Learning [67.93945726549289]
  DeepTheoremは、数学的推論を強化するために自然言語を活用する包括的な非公式な定理証明フレームワークである。 DeepTheoremには、121Kの高品質なIMOレベルの非公式な定理と証明からなる大規模なベンチマークデータセットが含まれている。 我々は、証明された定理の変種を利用して堅牢な数学的推論を動機付けることによって、非公式な定理証明に適した新しい強化学習戦略(RL-Zero)を考案する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:39Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• In-situ graph reasoning and knowledge expansion using Graph-PReFLexOR [0.0]
  グラフ推論とシンボリック抽象化を組み合わせてドメイン知識を動的に拡張するフレームワークであるGraph-PReFLexORを提案する。 強化学習に触発されて、推論は構造化されたマッピングとして定義され、タスクが知識グラフ、抽象パターン、そして最終的には最終回答を生み出す。 その結果、より優れた推論深度と適応性を示し、透明で多分野のAI駆動型発見の可能性を示している。
  論文  参考訳（メタデータ） (2025-01-14T13:52:41Z)
• No Free Lunch: Fundamental Limits of Learning Non-Hallucinating Generative Models [14.535583931446807]
  我々は,非ハロゲン化生成モデルの学習可能性を分析する理論的枠組みを開発する。 学習プロセスに実際の事実と整合した帰納的バイアスを組み込むことが重要であることを示す。
  論文  参考訳（メタデータ） (2024-10-24T23:57:11Z)
• Turing Video-based Cognitive Tests to Handle Entangled Concepts [0.0]
  本稿では,概念的組み合わせに関する革新的なビデオベース認知テストの結果について述べる。 収集したデータは量子理論フレームワーク内で忠実にモデル化可能であることを示す。 我々は,物理界と認知界の両方に絡み合いの出現について,新しい説明を提供する。
  論文  参考訳（メタデータ） (2024-09-13T14:30:55Z)
• LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
  この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。 したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
  論文  参考訳（メタデータ） (2024-09-09T16:01:58Z)
• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Exploring the Limits of Fine-grained LLM-based Physics Inference via Premise Removal Interventions [0.0]
  言語モデル(LM)は複雑な数学的推論を行う際に幻覚を与える。 物理的な文脈では、記号的な操作は複雑な意味論を満たすことが要求される。 この設定では、LMsの数学的推論は物理学的インフォームドされていない。
  論文  参考訳（メタデータ） (2024-04-29T02:43:23Z)
• A Probabilistic-Logic based Commonsense Representation Framework for Modelling Inferences with Multiple Antecedents and Varying Likelihoods [5.87677276882675]
  コモンセンス・ナレッジグラフ(英: Commonsense knowledge-graphs、CKG)は、テキストや環境入力で「推論」でき、知覚を超えた推論ができる機械を構築するための重要なリソースである。 本研究は,コモンセンス知識の表現方法として, (i) 複合的推論知識をモデル化し,様々な可能性で概念的信念を表現するための確率論的論理表現スキーム, (ii) 健全な概念関連関係を同定し,異なる概念レベルで信念を整理する階層的概念オントロジーを取り入れることにより, コモンセンス知識をより良く表現することができるかを検討する。
  論文  参考訳（メタデータ） (2022-11-30T08:44:30Z)
• On Binding Objects to Symbols: Learning Physical Concepts to Understand Real from Fake [155.6741526791004]
  我々は、ディープニューラルネットワークが合成データを生成する驚くべき能力に照らして、古典的な信号と記号の障壁を再考する。 物理オブジェクトを抽象概念として特徴付け,それ以前の解析を用いて,物理オブジェクトが有限なアーキテクチャで符号化可能であることを示す。 我々は、有限時間でデジタルIDに物理的実体を結合することは、有限資源で可能であると結論付けた。
  論文  参考訳（メタデータ） (2022-07-25T17:21:59Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• A Mathematical Walkthrough and Discussion of the Free Energy Principle [0.0]
  自由エネルギー原理(英: Free-Energy-Principle、FEP)は、自己組織化の熱力学と変分推論による学習との関係を仮定する影響力があり、議論を呼んでいる理論である。 FEPは神経科学に広く応用され、行動、知覚、学習が単一の目的の下で統一される新しい強力なアルゴリズムの構築を刺激することで、機械学習に進出し始めている。 ここでは、FEPの定式化と中心的主張の数学的に詳細かつ直感的なウォークスルーを提供するとともに、理論の仮定と潜在的な限界について議論する。
  論文  参考訳（メタデータ） (2021-08-30T16:11:49Z)
• Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
  言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。 言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。 単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
  論文  参考訳（メタデータ） (2020-11-22T17:28:50Z)
• Logical Neural Networks [51.46602187496816]
  ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。 すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。 推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
  論文  参考訳（メタデータ） (2020-06-23T16:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。