論文の概要: Algorithmic Primitives and Compositional Geometry of Reasoning in Language Models
- arxiv url: http://arxiv.org/abs/2510.15987v1
- Date: Mon, 13 Oct 2025 18:36:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:38.750929
- Title: Algorithmic Primitives and Compositional Geometry of Reasoning in Language Models
- Title（参考訳）: 言語モデルにおける推論のアルゴリズム的プリミティブと構成幾何学
- Authors: Samuel Lippl, Thomas McGee, Kimberly Lopez, Ziwen Pan, Pierce Zhang, Salma Ziadi, Oliver Eberle, Ida Momennejad,
- Abstract要約: モデル推論の基盤となるアルゴリズムプリミティブのトレースとステアリングのためのフレームワークを導入する。
提案手法は推論トレースを内部のアクティベーションパターンに関連付け,アルゴリズムプリミティブを残留ストリームに注入することで評価する。
トラベリングセールスパーソン問題(TSP)、3SAT、AIME、グラフナビゲーションの4つのベンチマークを考察する。
- 参考スコア（独自算出の注目度）: 8.716710736068146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How do latent and inference time computations enable large language models (LLMs) to solve multi-step reasoning? We introduce a framework for tracing and steering algorithmic primitives that underlie model reasoning. Our approach links reasoning traces to internal activation patterns and evaluates algorithmic primitives by injecting them into residual streams and measuring their effect on reasoning steps and task performance. We consider four benchmarks: Traveling Salesperson Problem (TSP), 3SAT, AIME, and graph navigation. We operationalize primitives by clustering neural activations and labeling their matched reasoning traces. We then apply function vector methods to derive primitive vectors as reusable compositional building blocks of reasoning. Primitive vectors can be combined through addition, subtraction, and scalar operations, revealing a geometric logic in activation space. Cross-task and cross-model evaluations (Phi-4, Phi-4-Reasoning, Llama-3-8B) show both shared and task-specific primitives. Notably, comparing Phi-4 with its reasoning-finetuned variant highlights compositional generalization after finetuning: Phi-4-Reasoning exhibits more systematic use of verification and path-generation primitives. Injecting the associated primitive vectors in Phi-4-Base induces behavioral hallmarks associated with Phi-4-Reasoning. Together, these findings demonstrate that reasoning in LLMs may be supported by a compositional geometry of algorithmic primitives, that primitives transfer cross-task and cross-model, and that reasoning finetuning strengthens algorithmic generalization across domains.
- Abstract（参考訳）: 潜在時間と推論時間の計算によって、大規模言語モデル(LLM)はマルチステップ推論を解くことができるのか?
モデル推論の基盤となるアルゴリズムプリミティブのトレースとステアリングのためのフレームワークを導入する。
提案手法は推論トレースを内部のアクティベーションパターンに関連付け,アルゴリズムプリミティブを残留ストリームに注入し,推論ステップとタスクパフォーマンスに与える影響を評価する。
トラベリングセールスパーソン問題(TSP)、3SAT、AIME、グラフナビゲーションの4つのベンチマークを考察する。
ニューラルアクティベーションをクラスタリングし、一致する推論トレースをラベル付けすることでプリミティブを運用する。
次に、関数ベクトル法を適用し、原始ベクトルを推論の再利用可能な構成的構成要素として導出する。
原始ベクトルは加算、減算、スカラー演算を通じて結合することができ、活性化空間における幾何学的論理を明らかにする。
クロスタスクおよびクロスモデル評価(Phi-4、Phi-4-Reasoning、Llama-3-8B)は、共有プリミティブとタスク固有のプリミティブの両方を示している。
Phi-4-Reasoningは、検証とパス生成プリミティブのより体系的な利用を示している。
Phi-4-Base に関連付けられた原始ベクトルを注入すると、Phi-4-Reasoning に関連付けられた行動の目印が誘導される。
これらの結果は、LLMにおける推論がアルゴリズムプリミティブの構成幾何学によって支えられ、プリミティブがクロスタスクとクロスモデルを転送し、推論の微調整がドメイン間のアルゴリズム一般化を強化することを示している。
関連論文リスト
- Encode, Think, Decode: Scaling test-time reasoning with recursive latent thoughts [19.518525241726916]
Encode-Think-Decode (ETD) は、トレーニング中の推論関連レイヤの小さなサブセットを反復するようにトレーニングすることで、ベースモデルの推論能力を向上する手法である。
ETDモデルは、GSM8Kで+28.4%、OLMo-2 1Bベースモデルで+36%の相対精度の改善を含む17の推論ベンチマークで大幅に向上した。
論文 参考訳（メタデータ） (2025-10-08T15:58:35Z) - ProtoReasoning: Prototypes as the Foundation for Generalizable Reasoning in LLMs [54.154593699263074]
ProtoReasoningは、大規模推論モデルの推論能力を高めるフレームワークである。
ProtoReasoningは問題を対応するプロトタイプ表現に変換する。
ProtoReasoningは論理的推論に基づくベースラインモデルよりも4.7%改善されている。
論文 参考訳（メタデータ） (2025-06-18T07:44:09Z) - Path-of-Thoughts: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models [62.12031550252253]
本稿では,関係推論に対処するための新しいフレームワークであるPath-of-Thoughts(PoT)を提案する。
PoTは、問題コンテキスト内の重要なエンティティ、関係、属性を識別するタスクに依存しないグラフを効率的に抽出する。
PoTは、提案された質問に対応するグラフ内の関連する推論連鎖を特定し、潜在的な答えの推論を容易にする。
論文 参考訳（メタデータ） (2024-12-23T20:27:12Z) - Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。
このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。
本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-07-03T07:54:08Z) - Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures [6.473177443214531]
本稿では,反復探索問題における自己アテンションに基づく更新規則に基づく共振器ネットワークの新たな変種を提案する。
認識に基づくパターン認識,シーン分解,オブジェクト推論など,多くのタスクに応用できる。
論文 参考訳（メタデータ） (2024-03-20T00:37:19Z) - A Neural Rewriting System to Solve Algorithmic Problems [47.129504708849446]
ネストされた数学的公式を解くための一般的な手順を学習するために設計されたモジュラーアーキテクチャを提案する。
シンボリック人工知能の古典的なフレームワークである書き換えシステムに触発され、アーキテクチャには3つの専門的で対話的なモジュールが含まれます。
我々は、系統的な一般化に特化した最近のモデルであるNeural Data Routerと、先進的なプロンプト戦略で探索された最先端の大規模言語モデル(GPT-4)とを比較した。
論文 参考訳（メタデータ） (2024-02-27T10:57:07Z) - Discrete Neural Algorithmic Reasoning [18.497863598167257]
本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。
アルゴリズムの状態遷移の監督で訓練されたモデルでは、元のアルゴリズムと完全に整合することができる。
論文 参考訳（メタデータ） (2024-02-18T16:03:04Z) - Learning First-Order Rules with Differentiable Logic Program Semantics [12.360002779872373]
微分型一階規則学習者(DFOL)と呼ばれる微分型帰納的論理プログラミングモデルを導入する。
DFOLは、LPの解釈可能な行列表現を探索することにより、関係事実から正しいLPを見つける。
実験結果から,DFOLは精度が高く,堅牢で,スケーラブルで,安価で微分可能なICPモデルであることが示唆された。
論文 参考訳（メタデータ） (2022-04-28T15:33:43Z) - Patterns of Cognition: Cognitive Algorithms as Galois Connections
Fulfilled by Chronomorphisms On Probabilistically Typed Metagraphs [0.0]
AGI関連アルゴリズムの幅広いクラスは、共通の形式的なフレームワークで表現できると論じられている。
例としては、OpenCog AGIフレームワークで使用されるコア認知アルゴリズムがある。
論文 参考訳（メタデータ） (2021-02-21T10:50:40Z) - Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。
ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。
モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
論文 参考訳（メタデータ） (2020-03-14T05:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。