論文の概要: Do LLMs Exhibit Coherent Knowledge Structures in Mathematical Reasoning? A Perspective from Knowledge Space Theory
- arxiv url: http://arxiv.org/abs/2609.05245v1
- Date: Fri, 04 Sep 2026 15:11:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.096109
- Title: Do LLMs Exhibit Coherent Knowledge Structures in Mathematical Reasoning? A Perspective from Knowledge Space Theory
- Title（参考訳）: LLMは数学的推論におけるコヒーレントな知識構造を排除しているか?知識空間理論からの展望
- Abstract要約: 数学的推論における知識構造を評価するためのKST-grounded frameworkを導入する。
実際の学習者に対して,オープンソースかつクローズドな8つのLCMを評価した。
- 参考スコア（独自算出の注目度）: 64.45080465635783
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human knowledge is inherently structured and interdependent: mastery of a concept requires prior mastery of its prerequisites, a principle formalized by Knowledge Space Theory (KST). While LLMs achieve strong performance on complex reasoning tasks, it remains unclear whether they exhibit coherent, human-like knowledge structure. We introduce a KST-grounded framework for evaluating LLM knowledge structure in mathematical reasoning, using it as a normative framework to analyze whether LLM behavior adheres to principled knowledge dependencies. Evaluating eight open- and closed-source LLMs against real human learners, we find that (1) LLMs do not adhere to human knowledge structure -- they frequently violate knowledge dependencies and fail to leverage related knowledge provided in context to improve performance on dependent questions; (2) LLMs do not share a consistent knowledge structure among themselves, as reflected by low overlap in their knowledge distributions. Furthermore, these structural deficiencies remain largely invisible to accuracy-based and LLM-as-judge evaluations. Together, our results provide behavioral evidence that current LLMs knowledge does not follow a human-like structure.
- Abstract（参考訳）: 概念の習得には、知識空間理論(KST)によって定式化された原理である前提条件の事前の習得が必要である。
LLMは複雑な推論タスクにおいて高い性能を発揮するが、一貫性のある人間的な知識構造を示すかどうかは不明だ。
我々は、数学的推論においてLLMの知識構造を評価するためのKST-grounded frameworkを導入し、LLMの振る舞いが原理化された知識依存に従属するかどうかを分析するための規範的フレームワークとして利用した。
実際の学習者に対して8つのオープン・クローズド・ソース LLM を評価したところ、(1) LLM は人間の知識構造に従わない。
さらに、これらの構造的欠陥は、精度に基づくLCM-as-judge評価にはほとんど見えないままである。
その結果,現在のLLMの知識が人間のような構造に従わないという行動的証拠が得られた。
関連論文リスト
- Mirage of Mastery: Memorization Tricks LLMs into Artificially Inflated Self-Knowledge [0.0]
既存の研究は、LLMにおける記憶障害と自己認知障害を別の問題として扱う。
我々は,LLMが学習データから推論パターンを真に学習するかどうかを確認するために,新しいフレームワークを利用する。
LLMは記憶された解から自信を引き出して高い自己知識を推測する。
論文 参考訳（メタデータ） (2025-06-23T18:01:16Z) - LLM Cannot Discover Causality, and Should Be Restricted to Non-Decisional Support in Causal Discovery [30.24849564413826]
LLMの自己回帰的相関モデルが本質的に因果推論の理論的根拠を欠いていることを実証する。
我々は、故意にプロンプトエンジニアリングが彼らの業績を誇張し、現在の文献の多くで報告された一貫した好ましい結果を説明するのに役立つことを示している。
我々は,LLMを鼻で適用することから,因果発見の根本原理を尊重する専門的なモデルや訓練方法の開発に焦点を移すことをコミュニティに求めて結論付けた。
論文 参考訳（メタデータ） (2025-06-01T05:38:56Z) - LLM Inference Enhanced by External Knowledge: A Survey [16.319049759753106]
本研究では,外部知識を用いた大規模言語モデル(LLM)の強化戦略について検討する。
比較分析では、解釈可能性、スケーラビリティ、パフォーマンスのトレードオフを強調しています。
論文 参考訳（メタデータ） (2025-05-30T09:08:51Z) - Line of Duty: Evaluating LLM Self-Knowledge via Consistency in Feasibility Boundaries [0.0]
本研究は,新たな手法を用いて,異なるタイプのLDM自己知識に関する本質的な洞察を得ることを目的とする。
GPT-4oやMistral Largeのようなフロンティアモデルでさえ、その80%以上の能力を確信していないことが分かりました。
論文 参考訳（メタデータ） (2025-03-14T10:07:07Z) - Refine Knowledge of Large Language Models via Adaptive Contrastive Learning [54.61213933999464]
方法の主流は、大規模言語モデルの知識表現を最適化することで幻覚を減らすことである。
知識を精錬するモデルのプロセスは、人間の学習方法から大きな恩恵を受けることができると私たちは信じています。
人間の学習過程を模倣することで,適応的コントラスト学習戦略を設計する。
論文 参考訳（メタデータ） (2025-02-11T02:19:13Z) - Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension [14.039653386385519]
大規模言語モデル(LLM)は知識を取得し、保持し、適用する。
本稿では,LLMの知識を2次元に分類する新しいフレームワークK-(CSA)2を紹介する。
論文 参考訳（メタデータ） (2025-01-02T16:34:10Z) - KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。
明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。
特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2024-12-06T11:08:24Z) - Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。
LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
論文 参考訳（メタデータ） (2024-07-22T06:15:59Z) - Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。
我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
論文 参考訳（メタデータ） (2024-04-04T16:40:11Z) - KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。
KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
論文 参考訳（メタデータ） (2024-02-17T02:54:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。