論文の概要: Logical subspace in LLMs

• arxiv url: http://arxiv.org/abs/2609.32907v1
• Date: Sat, 26 Sep 2026 19:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 12:07:06.830159
• Title: Logical subspace in LLMs
• Title（参考訳）: LLMにおける論理部分空間
• Abstract要約: 近年の研究では、抽象的な形式的推論に特化した人間の脳ネットワークが特定されている。 以上の結果から,人間の脳に類似した機能的局所化可能なコア機構が示唆された。
• 参考スコア（独自算出の注目度）: 0.09821874476902968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has identified a human brain network specialized for abstract formal reasoning (Kean et al., 2025). Does the same hold true in language models? To answer this question, we introduce the minimal viable subspace (MVS) method, which searches for the lowest-rank activation subspace at a layer that preserves task performance when everything outside that subspace is ablated. Using MVS, we demonstrate low-rank subspaces supporting logical inference on Gemma and Qwen models. Furthermore, these subspaces exhibit a clear dissociation from model capacities on other tasks, such that retaining these late logic subspaces preserves inference while impairing factual knowledge, working memory, cognitive control, and arithmetic. Conversely, ablating them reduces logical inference accuracy to chance while largely sparing these other capacities. Our results suggest a functionally localizable core machinery for logic akin to that in the human brain.
• Abstract（参考訳）: 近年の研究では、抽象的な形式的推論に特化した人間の脳ネットワークが特定されている(Kean et al , 2025)。 言語モデルでは、同じことが当てはまりますか? この問題を解決するために,最小限実行可能なサブスペース (MVS) 法を導入し,そのサブスペース以外の全ての処理が短縮された場合にタスク性能を保持するレイヤにおいて,最低ランクのアクティベーションサブスペースを探索する。 MVSを用いて,GemmaモデルとQwenモデルにおける論理的推論をサポートする低ランク部分空間を実証する。 さらに、これらの部分空間は他のタスクにおけるモデル能力から明らかな解離を示し、例えば、これらの後期論理部分空間を保持することは、事実知識、ワーキングメモリ、認知制御、算術を損なう一方で推論を保存する。 逆に、これらを非難することは、論理的推論の正確さを機会に還元する一方で、他の能力を大きく分散させる。 以上の結果から,人間の脳に類似した機能的局所化可能なコア機構が示唆された。

関連論文リスト

• Fast Multi-dimensional Refusal Subspaces via RFM-AGOP [0.0]
  Recursive Feature Machineは、複数次元のサブスペースを数秒で識別できる。 様々な方法によって発見された部分空間間の関係をよりよく理解するために、さらなる研究が計画されている。 もし確認できれば、RAMは大規模言語モデルにおける既存の部分空間抽出手法の安価でスケーラブルな補完となる可能性がある。
  論文  参考訳（メタデータ） (2026-07-02T16:31:56Z)
• Beyond representational alignment with brain-guided language models for robust reasoning [51.87370932573858]
  大規模言語モデル(LLM)は推論関連領域の神経信号と一致していることを示す。 ニューラルネットワークの予測基準を用いて,LLMは推論関連領域における説明可能な分散のかなりの部分を説明する。 我々は、モデルと脳表現の結合構造によって誘導される方向に沿って、モデル表現を操る脳誘導フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-10T10:22:49Z)
• Reasoning is a Modality [4.055765634948606]
  人間の知性に中心的な能力である抽象的推論を研究する。 現代のAIシステムは、行動予測マシンとして動作する。 人間は内部状態の復号化によって行動を説明することができ、一方AIシステムは流動的なポストホックな合理化を生成することができる。
  論文  参考訳（メタデータ） (2026-01-20T03:37:17Z)
• Decomposing Representation Space into Interpretable Subspaces with Unsupervised Learning [6.652200654829215]
  非基底整列部分空間を教師なしで学習する。 その結果、取得した部分空間内の符号化された情報は、異なる入力間で同じ抽象概念を共有する傾向にあることが示された。 また、2Bモデルに拡張性を示す証拠として、コンテキストを仲介する部分空間とパラメトリックな知識ルーティングを見つける。
  論文  参考訳（メタデータ） (2025-08-03T20:59:29Z)
• Large Language Models Encode Semantics in Low-Dimensional Linear Subspaces [31.401762286885656]
  大規模言語モデル(LLM)の潜在空間幾何を理解することは、それらの振舞いとアライメントの鍵となる。 我々は6つの科学的トピックにわたる11の経験的モデルで大規模な研究を行っている。
  論文  参考訳（メタデータ） (2025-07-13T17:03:25Z)
• FloorplanQA: A Benchmark for Spatial Reasoning in LLMs using Structured Representations [78.65988445433844]
  FloorplanQAは、大規模言語モデルにおける空間的推論を評価するための診断ベンチマークである。 このベンチマークでは、距離測定、可視性、経路探索、制約空間内のオブジェクト配置など、中核的な空間的タスクをカバーしている。
  論文  参考訳（メタデータ） (2025-07-10T11:16:48Z)
• On Representational Dissociation of Language and Arithmetic in Large Language Models [12.182463768190509]
  簡単な算術方程式と一般言語入力は、大言語モデルにおいて完全に分離された領域に符号化されていることを示す。 これは、算術的推論が一般的な言語入力とは異なる領域にマッピングされることを示している。
  論文  参考訳（メタデータ） (2025-02-17T15:42:01Z)
• SpaRC and SpaRP: Spatial Reasoning Characterization and Path Generation for Understanding Spatial Reasoning Capability of Large Language Models [70.01883340129204]
  空間推論は 生物学的と人工知能の両方において 重要な要素です 本稿では,現在最先端の大規模言語モデル (LLM) の空間的推論能力について包括的に検討する。
  論文  参考訳（メタデータ） (2024-06-07T01:06:34Z)
• Subspace Defense: Discarding Adversarial Perturbations by Learning a Subspace for Clean Signals [52.123343364599094]
  敵の攻撃は、正常な例に基づいて慎重に摂動を行い、ディープニューラルネットワーク(DNN)を騙す まず,低次元線形部分空間において,クリーン信号と逆方向の摂動の特徴が冗長であり,重なりが最小であることを示す。 これにより、DNNは、摂動が破棄されている間、クリーン信号の特徴のみが存在する部分空間を学習することができる。
  論文  参考訳（メタデータ） (2024-03-24T14:35:44Z)
• Is Bigger and Deeper Always Better? Probing LLaMA Across Scales and Layers [73.28459749681879]
  本稿では,自然言語処理におけるオープンソースの基盤モデルであるLLaMAについて述べる。 LLaMAを生成出力で評価する代わりに、本質的な理解を探索するために複数の選択タスクを設計する。 設計された探索タスクに基づいて、いくつかの重要な発見と珍しい発見を公表する。
  論文  参考訳（メタデータ） (2023-12-07T14:50:41Z)
• A Geometric Notion of Causal Probing [85.49839090913515]
  線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。