論文の概要: Knowledge Vector of Logical Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.23877v1
• Date: Sun, 26 Apr 2026 20:37:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.660108
• Title: Knowledge Vector of Logical Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける論理推論の知識ベクトル
• Authors: Zixuan Wang, Yuanyuan Lei,
• Abstract要約: 本稿では, 帰納的, 帰納的, 帰納的3種類の論理的推論の知識表現について検討する。 解析の結果,論理的推論の各形式は線形表現空間における推論固有の知識ベクトルとして捉えることができることがわかった。 我々は,LLMにおける各推論型の知識表現を改良し,それらの相補性を促進することを提案する。
• 参考スコア（独自算出の注目度）: 32.88383839778735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Logical reasoning serve as a central capability in LLMs and includes three main forms: deductive, inductive, and abductive reasoning. In this work, we study the knowledge representations of these reasoning types in LLMs and analyze the correlations among them. Our analysis shows that each form of logical reasoning can be captured as a reasoning-specific knowledge vector in a linear representation space, yet these vectors are largely independent of each other. Motivated by cognitive science theory that these subforms of logical reasoning interact closely in the human brain, as well as our observation that the reasoning process for one type can benefit from the reasoning chain produced by another, we further propose to refine the knowledge representations of each reasoning type in LLMs to encourage complementarity between them. To this end, we design a complementary subspace-constrained refinement framework, which introduces a complementary loss that enables each reasoning vector to leverage auxiliary knowledge from the others, and a subspace constraint loss that prevents erasure of their unique characteristics. Through steering experiments along reasoning vectors, we find that refined vectors incorporating complementary knowledge yield consistent performance gains. We also conduct a mechanism-interpretability analysis of each reasoning vector, revealing insights into the shared and specific features of different reasoning in LLMs.
• Abstract（参考訳）: 論理的推論はLLMの中心的な機能として機能し、誘引的、帰納的、帰納的という3つの主要な形式を含んでいる。 本研究では,LLMにおけるこれらの推論型の知識表現について検討し,それらの相関関係を解析する。 解析により,論理的推論の各形式は線形表現空間における推論固有の知識ベクトルとして捉えることができるが,これらのベクトルは互いに大きく独立していることがわかった。 認知科学理論により、これらの論理的推論のサブフォームが人間の脳と密接に相互作用し、また、あるタイプの推論過程が、別のタイプの推論連鎖から恩恵を受けることを観察することで、LLMにおける各推論タイプの知識表現を洗練し、それらの相補性を促進することを提案する。 この目的のために,各推論ベクトルが他者からの補助的知識を活用できる補足的部分空間制約改善フレームワークと,その特性の消去を防止する部分空間制約損失を設計する。 推論ベクトルを操る実験により、相補的知識を組み込んだ洗練されたベクトルが一貫した性能向上をもたらすことがわかった。 また、各推論ベクトルのメカニズム-解釈可能性解析を行い、LLMにおける異なる推論の共有および特定の特徴についての洞察を明らかにする。

関連論文リスト

• Discovering a Shared Logical Subspace: Steering LLM Logical Reasoning via Alignment of Natural-Language and Symbolic Views [16.869958532486258]
  大規模言語モデル(LLM)は、多段階の論理的推論に苦戦している。 LLMには、自然言語とシンボリック言語ビューを同時に整合させる共通内部論理部分空間があるかどうかを問う。
  論文  参考訳（メタデータ） (2026-04-21T17:42:54Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning [74.0242521818214]
  本稿では,大言語モデル(LLM)におけるインダクティブ(システム1)と帰納的/帰納的(システム2)の推論の比較力学を体系的に検討する。 我々は、制御されたアナログ推論環境、多様度(テキスト、視覚、記号)、難易度、タスク形式(MCQ/フリーテキスト)を利用する。 我々の分析によると、System 2のパイプラインは一般的に、特に視覚的/象徴的なモダリティや難しいタスクにおいて優れており、System 1はテキストやより簡単な問題に対して競争力がある。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• Logical Reasoning in Large Language Models: A Survey [17.06712393613964]
  大規模言語モデル(LLM)における論理的推論の最近の進歩を合成する。 LLMにおける論理的推論の範囲、理論的基礎、および推論の習熟度を評価するために使用されるベンチマークについて概説する。 このレビューは、AIシステムにおける論理的推論を強化するためのさらなる調査の必要性を強調し、今後の方向性を結論付けている。
  論文  参考訳（メタデータ） (2025-02-13T09:19:14Z)
• A Systematic Analysis of Large Language Models as Soft Reasoners: The Case of Syllogistic Inferences [5.141416267381492]
  我々は、論理学と認知心理学において広範囲に研究されている誘因的推論の領域であるシロメトリクス推論の事例を考察する。 思考の連鎖的推論,文脈内学習,教師付き微調整がシロメトリクス的推論に及ぼす影響について検討した。 以上の結果から,事前学習したLSMの行動は認知科学によって説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-17T08:59:04Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。