論文の概要: On the Fundamental Impossibility of Hallucination Control in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.06382v1
• Date: Wed, 04 Jun 2025 23:28:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.246173
• Title: On the Fundamental Impossibility of Hallucination Control in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける幻覚制御の基本的不可能性について
• Authors: Michał P. Karpowicz,
• Abstract要約: この定理は、推論機構が4つの基本的な性質を同時に満たすことができないことを示す公式なテキスト分岐可能性定理を提示する。 LLM推論をアイデアのテキスト化としてモデル化することにより、Green-Laffont定理を用いて不可能性を証明できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explains \textbf{why it is impossible to create large language models that do not hallucinate and what are the trade-offs we should be looking for}. It presents a formal \textbf{impossibility theorem} demonstrating that no inference mechanism can simultaneously satisfy four fundamental properties: \textbf{truthful (non-hallucinatory) generation, semantic information conservation, relevant knowledge revelation, and knowledge-constrained optimality}. By modeling LLM inference as an \textbf{auction of ideas} where neural components compete to contribute to responses, we prove the impossibility using the Green-Laffont theorem. That mathematical framework provides a rigorous foundation for understanding the nature of inference process, with implications for model architecture, training objectives, and evaluation methods.
• Abstract（参考訳）: 本稿では,<textbf{why> 幻覚を起こさない大規模な言語モデルの作成が不可能であり,私たちが探すべきトレードオフについて説明する。 これは形式的な \textbf{impossibility theorem を示し、推論機構が4つの基本的な性質を同時に満たすことができないことを示す: \textbf{truthful (non-hallucinatory) generation, semantic information conservation, relevant knowledge revelation, and knowledge-constrained optimality} である。 LLM推論を、ニューラル成分が応答に寄与する「アイデアのtextbf{auction of ideas}」としてモデル化することにより、グリーン・ラフォントの定理を用いて不可能性を証明した。 その数学的枠組みは推論プロセスの性質を理解するための厳密な基盤を提供し、モデルアーキテクチャ、訓練目的、評価方法に影響を及ぼす。

関連論文リスト

• From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models [20.244145418997377]
  音声モデルとテキストモデルによって学習された概念構造を,個人的,共同的に分析する。 ニューラルネットワークの潜在表現を探索する教師なし手法である潜在概念解析を用いて、意味的抽象がモーダル間にどのように形成されるかを調べる。
  論文  参考訳（メタデータ） (2025-06-01T19:33:21Z)
• DeepTheorem: Advancing LLM Reasoning for Theorem Proving Through Natural Language and Reinforcement Learning [67.93945726549289]
  DeepTheoremは、数学的推論を強化するために自然言語を活用する包括的な非公式な定理証明フレームワークである。 DeepTheoremには、121Kの高品質なIMOレベルの非公式な定理と証明からなる大規模なベンチマークデータセットが含まれている。 我々は、証明された定理の変種を利用して堅牢な数学的推論を動機付けることによって、非公式な定理証明に適した新しい強化学習戦略(RL-Zero)を考案する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:39Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• In-situ graph reasoning and knowledge expansion using Graph-PReFLexOR [0.0]
  グラフ推論とシンボリック抽象化を組み合わせてドメイン知識を動的に拡張するフレームワークであるGraph-PReFLexORを提案する。 強化学習に触発されて、推論は構造化されたマッピングとして定義され、タスクが知識グラフ、抽象パターン、そして最終的には最終回答を生み出す。 その結果、より優れた推論深度と適応性を示し、透明で多分野のAI駆動型発見の可能性を示している。
  論文  参考訳（メタデータ） (2025-01-14T13:52:41Z)
• No Free Lunch: Fundamental Limits of Learning Non-Hallucinating Generative Models [14.535583931446807]
  我々は,非ハロゲン化生成モデルの学習可能性を分析する理論的枠組みを開発する。 学習プロセスに実際の事実と整合した帰納的バイアスを組み込むことが重要であることを示す。
  論文  参考訳（メタデータ） (2024-10-24T23:57:11Z)
• Turing Video-based Cognitive Tests to Handle Entangled Concepts [0.0]
  本稿では,概念的組み合わせに関する革新的なビデオベース認知テストの結果について述べる。 収集したデータは量子理論フレームワーク内で忠実にモデル化可能であることを示す。 我々は,物理界と認知界の両方に絡み合いの出現について,新しい説明を提供する。
  論文  参考訳（メタデータ） (2024-09-13T14:30:55Z)
• LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
  この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。 したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
  論文  参考訳（メタデータ） (2024-09-09T16:01:58Z)
• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Exploring the Limits of Fine-grained LLM-based Physics Inference via Premise Removal Interventions [0.0]
  言語モデル(LM)は複雑な数学的推論を行う際に幻覚を与える。 物理的な文脈では、記号的な操作は複雑な意味論を満たすことが要求される。 この設定では、LMsの数学的推論は物理学的インフォームドされていない。
  論文  参考訳（メタデータ） (2024-04-29T02:43:23Z)
• A Probabilistic-Logic based Commonsense Representation Framework for Modelling Inferences with Multiple Antecedents and Varying Likelihoods [5.87677276882675]
  コモンセンス・ナレッジグラフ(英: Commonsense knowledge-graphs、CKG)は、テキストや環境入力で「推論」でき、知覚を超えた推論ができる機械を構築するための重要なリソースである。 本研究は,コモンセンス知識の表現方法として, (i) 複合的推論知識をモデル化し,様々な可能性で概念的信念を表現するための確率論的論理表現スキーム, (ii) 健全な概念関連関係を同定し,異なる概念レベルで信念を整理する階層的概念オントロジーを取り入れることにより, コモンセンス知識をより良く表現することができるかを検討する。
  論文  参考訳（メタデータ） (2022-11-30T08:44:30Z)
• On Binding Objects to Symbols: Learning Physical Concepts to Understand Real from Fake [155.6741526791004]
  我々は、ディープニューラルネットワークが合成データを生成する驚くべき能力に照らして、古典的な信号と記号の障壁を再考する。 物理オブジェクトを抽象概念として特徴付け,それ以前の解析を用いて,物理オブジェクトが有限なアーキテクチャで符号化可能であることを示す。 我々は、有限時間でデジタルIDに物理的実体を結合することは、有限資源で可能であると結論付けた。
  論文  参考訳（メタデータ） (2022-07-25T17:21:59Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• A Mathematical Walkthrough and Discussion of the Free Energy Principle [0.0]
  自由エネルギー原理(英: Free-Energy-Principle、FEP)は、自己組織化の熱力学と変分推論による学習との関係を仮定する影響力があり、議論を呼んでいる理論である。 FEPは神経科学に広く応用され、行動、知覚、学習が単一の目的の下で統一される新しい強力なアルゴリズムの構築を刺激することで、機械学習に進出し始めている。 ここでは、FEPの定式化と中心的主張の数学的に詳細かつ直感的なウォークスルーを提供するとともに、理論の仮定と潜在的な限界について議論する。
  論文  参考訳（メタデータ） (2021-08-30T16:11:49Z)
• Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
  言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。 言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。 単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
  論文  参考訳（メタデータ） (2020-11-22T17:28:50Z)
• Logical Neural Networks [51.46602187496816]
  ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。 すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。 推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
  論文  参考訳（メタデータ） (2020-06-23T16:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。