論文の概要: Comprehension Without Competence: Architectural Limits of LLMs in Symbolic Computation and Reasoning
- arxiv url: http://arxiv.org/abs/2507.10624v1
- Date: Mon, 14 Jul 2025 04:01:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-16 19:46:02.790269
- Title: Comprehension Without Competence: Architectural Limits of LLMs in Symbolic Computation and Reasoning
- Title（参考訳）: 能力のない理解:記号計算と推論におけるLLMのアーキテクチャ的限界
- Authors: Zheng Zhang,
- Abstract要約: 大型言語モデル (LLM) は、記号的推論、算術的精度、論理的整合性を必要とするタスクにおいて、表面流速が著しく低下するが、体系的に失敗する。
本稿では,このような障害の構造的診断を行い,テキスト理解とテキストコンピテンスの間に持続的なギャップがあることを明らかにする。
我々はこの現象を,命令経路と行動経路が幾何学的に,機能的に二分される計算テキストスプリット・ブレイン症候群と呼ぶ。
- 参考スコア（独自算出の注目度）: 7.996731257791417
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) display striking surface fluency yet systematically fail at tasks requiring symbolic reasoning, arithmetic accuracy, and logical consistency. This paper offers a structural diagnosis of such failures, revealing a persistent gap between \textit{comprehension} and \textit{competence}. Through controlled experiments and architectural analysis, we demonstrate that LLMs often articulate correct principles without reliably applying them--a failure rooted not in knowledge access, but in computational execution. We term this phenomenon the computational \textit{split-brain syndrome}, where instruction and action pathways are geometrically and functionally dissociated. This core limitation recurs across domains, from mathematical operations to relational inferences, and explains why model behavior remains brittle even under idealized prompting. We argue that LLMs function as powerful pattern completion engines, but lack the architectural scaffolding for principled, compositional reasoning. Our findings delineate the boundary of current LLM capabilities and motivate future models with metacognitive control, principle lifting, and structurally grounded execution. This diagnosis also clarifies why mechanistic interpretability findings may reflect training-specific pattern coordination rather than universal computational principles, and why the geometric separation between instruction and execution pathways suggests limitations in neural introspection and mechanistic analysis.
- Abstract（参考訳）: 大型言語モデル (LLM) は、記号的推論、算術的精度、論理的整合性を必要とするタスクにおいて、表面流速が著しく低下するが、体系的に失敗する。
本稿では,このような障害の構造的診断を行い,<textit{comprehension} と \textit{competence} の相違点を明らかにした。
制御された実験とアーキテクチャ解析を通して、LLMは、知識アクセスではなく、計算実行に根ざした失敗を確実に適用することなく、しばしば正しい原理を明確化することを示した。
我々はこの現象を,命令経路と行動経路が幾何学的に,機能的に二分される計算的「textit{split-brain syndrome」と呼ぶ。
この中核的な制限は、数学的操作からリレーショナル推論まで、ドメイン間で再帰し、なぜモデル行動が理想的なプロンプトの下でも不安定なままなのかを説明する。
LLMは強力なパターン補完エンジンとして機能するが、原理的、構成的推論のためのアーキテクチャ的な足場は欠如している。
本研究は, メタ認知制御, 原理持ち上げ, 構造的基礎的実行による, 現在のLLM能力の境界を明確化し, 将来のモデルを動機づけるものである。
この診断はまた、機械的解釈可能性(mechanistic interpretability)の発見が、普遍的な計算原理よりも訓練固有のパターン調整を反映している理由と、命令と実行経路の幾何学的分離が神経内省と機械的分析の限界を示唆している理由も明らかにしている。
関連論文リスト
- Do LLMs Dream of Discrete Algorithms? [0.7646713951724011]
大規模言語モデル(LLM)は、人工知能の風景を急速に変化させてきた。
確率的推論への依存は、厳密な論理的推論を必要とする領域における有効性を制限する。
本稿では,論理ベースの推論モジュールでLLMを増強するニューロシンボリックアプローチを提案する。
論文 参考訳（メタデータ） (2025-06-29T22:03:01Z) - The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity [16.266145641151375]
大規模な推論モデルは、回答を提供する前に詳細な思考プロセスを生成する。
我々は, LRM がある種の複雑さを超えて完全に精度の低下に直面していることを示す。
また、より深く推論の痕跡を調べ、探索された解のパターンを研究する。
論文 参考訳（メタデータ） (2025-06-07T22:42:29Z) - Computational Thinking Reasoning in Large Language Models [69.28428524878885]
計算思考モデル(CTM)は、計算思考パラダイムを大規模言語モデル(LLM)に組み込んだ新しいフレームワークである。
ライブコード実行は推論プロセスにシームレスに統合され、CTMが計算によって考えることができる。
CTMは、精度、解釈可能性、一般化可能性の観点から、従来の推論モデルとツール拡張ベースラインを上回っている。
論文 参考訳（メタデータ） (2025-06-03T09:11:15Z) - Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
世界の知識と論理的推論の相互作用について検討する。
最先端の大規模言語モデル(LLM)は、しばしば表面的な一般化に依存している。
タスクの単純な再構成により、より堅牢な推論行動が引き起こされることを示す。
論文 参考訳（メタデータ） (2024-10-31T12:48:58Z) - Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。
複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。
大規模な実験により,提案システムの有効性が検証された。
論文 参考訳（メタデータ） (2024-10-18T05:30:33Z) - Inductive Learning of Logical Theories with LLMs: An Expressivity-Graded Analysis [9.865771016218549]
本研究は,Large Language Models(LLM)の機能と限界を分析するための,新しい体系的方法論を提案する。
この分析は、LLM性能に関する特定の推論課題の定量化を可能にする、複雑性グレードのw.r.t.ルール依存構造である。
論文 参考訳（メタデータ） (2024-08-15T16:41:00Z) - Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。
混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
論文 参考訳（メタデータ） (2024-01-17T18:13:07Z) - Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。
モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
論文 参考訳（メタデータ） (2023-10-09T06:57:45Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳（メタデータ） (2023-10-02T01:00:50Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳（メタデータ） (2023-06-21T07:34:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。