Fugu-MT 論文翻訳(概要): Decoupling Knowledge and Reasoning in LLMs: An Exploration Using Cognitive Dual-System Theory

論文の概要: Decoupling Knowledge and Reasoning in LLMs: An Exploration Using Cognitive Dual-System Theory

arxiv url: http://arxiv.org/abs/2507.18178v1
Date: Thu, 24 Jul 2025 08:24:52 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-25 15:10:43.232672
Title: Decoupling Knowledge and Reasoning in LLMs: An Exploration Using Cognitive Dual-System Theory
Title（参考訳）: LLMにおける知識と推論の疎結合:認知デュアルシステム理論を用いた探索
Authors: Mutian Yang, Jiandong Gao, Ji Wu,
Abstract要約: 大規模言語モデル(LLM)は推論中に知識と推論の両方を活用する。本稿では,知識と推論の貢献を分離する認知帰属の枠組みを提案する。
参考スコア（独自算出の注目度）: 2.8952499264943445
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While large language models (LLMs) leverage both knowledge and reasoning during inference, the capacity to distinguish between them plays a pivotal role in model analysis, interpretability, and development. Inspired by dual-system cognitive theory, we propose a cognition attribution framework to decouple the contribution of knowledge and reasoning. In particular, the cognition of LLMs is decomposed into two distinct yet complementary phases: knowledge retrieval (Phase 1) and reasoning adjustment (Phase 2). To separate these phases, LLMs are prompted to generate answers under two different cognitive modes, fast thinking and slow thinking, respectively. The performance under different cognitive modes is analyzed to quantify the contribution of knowledge and reasoning. This architecture is employed to 15 LLMs across 3 datasets. Results reveal: (1) reasoning adjustment is domain-specific, benefiting reasoning-intensive domains (e.g., mathematics, physics, and chemistry) and potentially imparing knowledge-intensive domains. (2) Parameter scaling improves both knowledge and reasoning, with knowledge improvements being more pronounced. Additionally, parameter scaling make LLMs reasoning significantly more prudent, while moderately more intelligent. (3) Knowledge primarily resides in lower network layers, while reasoning operates in higher layers. Our framework not only helps understand LLMs from a "decoupling" perspective, but also provides new insights into existing research, including scaling laws, hierarchical knowledge editing, and limitations of small-model reasoning.
Abstract（参考訳）: 大きな言語モデル(LLM)は推論中に知識と推論の両方を活用するが、それらの区別能力はモデル解析、解釈可能性、開発において重要な役割を果たす。両システム認知理論に着想を得て,知識と推論の寄与を分離する認知属性フレームワークを提案する。特に、LLMの認知は、2つの異なる相補的なフェーズに分解される:知識検索(Phase) 1)及び推論調整(Phase 2)。これらのフェーズを分離するために、LSMは2つの異なる認知モード、速い思考と遅い思考の回答をそれぞれ生成するよう促される。異なる認知モード下でのパフォーマンスは、知識と推論の貢献を定量化するために分析される。このアーキテクチャは、3つのデータセットにわたる15のLLMに採用されている。 1)推論調整はドメイン固有であり、推論集約ドメイン(例えば、数学、物理学、化学)と潜在的に知識集約ドメインの恩恵を受ける。 2) パラメータスケーリングは知識と推論の両方を改善するが,知識の改善はより顕著である。さらに、パラメータのスケーリングにより、LSMの推論はより巧妙になり、一方、適度にインテリジェントになる。 (3) 知識は主に下位のネットワーク層に存在するが、推論は上位のレイヤで機能する。我々のフレームワークは、LLMを「疎結合」の観点から理解するのに役立つだけでなく、スケーリング法則、階層的な知識編集、小さなモデル推論の制限など、既存の研究への新たな洞察を提供する。

関連論文リスト

Unveiling the Learning Mind of Language Models: A Cognitive Framework and Empirical Study [50.065744358362345]
大規模言語モデル(LLM)は、数学、コーディング、推論といったタスクにまたがる印象的な機能を示している。しかし、彼らの学習能力は、動的環境に適応し、新しい知識を得るのに不可欠であり、まだ過小評価されていない。
論文参考訳（メタデータ） (2025-06-16T13:24:50Z)
From System 1 to System 2: A Survey of Reasoning Large Language Models [72.87412996793957]
基礎的な大規模言語モデルは、迅速な意思決定では優れているが、複雑な推論には深みがない。 OpenAIのo1/o3とDeepSeekのR1は、数学やコーディングといった分野のエキスパートレベルのパフォーマンスを実証している。
論文参考訳（メタデータ） (2025-02-24T18:50:52Z)
Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension [14.039653386385519]
大規模言語モデル(LLM)は知識を取得し、保持し、適用する。本稿では,LLMの知識を2次元に分類する新しいフレームワークK-(CSA)2を紹介する。
論文参考訳（メタデータ） (2025-01-02T16:34:10Z)
CogniDual Framework: Self-Training Large Language Models within a Dual-System Theoretical Framework for Improving Cognitive Tasks [39.43278448546028]
カーネマンの二重系理論は人間の意思決定過程を解明し、素早い直感的なシステム1と合理的なシステム2を区別する。近年の大きな言語モデル (LLMs) は、認知タスクにおける人間レベルの習熟度に近づきやすいツールとして位置づけられている。本研究では、自己学習を通じて、意図的な推論から直感的な応答へと進化するLLM(textbfCognidual Framework for LLMs, CFLLMs)について述べる。
論文参考訳（メタデータ） (2024-09-05T09:33:24Z)
Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
論文参考訳（メタデータ） (2024-07-22T06:15:59Z)
Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
論文参考訳（メタデータ） (2024-06-30T10:49:32Z)
Hierarchical Deconstruction of LLM Reasoning: A Graph-Based Framework for Analyzing Knowledge Utilization [30.349165483935682]
大規模言語モデル(LLM)が推論の知識をどのように利用するのかは、まだよく分かっていない。我々は,DepthQAデータセットを開発し,質問を3つの深さに分解する: (i)概念的知識の想起, (ii)手続き的知識の適用, (iii)戦略的知識の分析。差分パターンは、モデルのキャパシティとトレーニングデータ記憶の可能性にまたがって観察される。
論文参考訳（メタデータ） (2024-06-27T19:29:36Z)
Exploring Concept Depth: How Large Language Models Acquire Knowledge and Concept at Different Layers? [57.04803703952721]
大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。概念深さ」の概念を導入し、より複雑な概念が一般的により深い層で得られることを示唆する。
論文参考訳（メタデータ） (2024-04-10T14:56:40Z)
FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
論文参考訳（メタデータ） (2024-02-29T21:05:37Z)
Is Knowledge All Large Language Models Needed for Causal Reasoning? [11.476877330365664]
本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。本稿では,do-operativesを利用した新たな因果帰属モデルを提案する。
論文参考訳（メタデータ） (2023-12-30T04:51:46Z)
Temporal Knowledge Question Answering via Abstract Reasoning Induction [32.08799860090592]
本研究では,Large Language Models(LLMs)における時間的知識推論の高度化という課題に対処する。本稿では,時間的推論を知識非依存と知識に基づく2つのフェーズに分割する抽象推論誘導(ARI)フレームワークを提案する。提案手法は,2つの時間的QAデータセットに対して29.7%と9.27%の相対的な向上を達成している。
論文参考訳（メタデータ） (2023-11-15T17:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。