論文の概要: Not All Thinking is Created Equal: Latent Reasoning Discovers a Recurrent Search Algorithm for Depth Generalization

• arxiv url: http://arxiv.org/abs/2609.35643v1
• Date: Mon, 28 Sep 2026 17:12:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:03:54.886398
• Title: Not All Thinking is Created Equal: Latent Reasoning Discovers a Recurrent Search Algorithm for Depth Generalization
• Title（参考訳）: すべての思考が等しくなるわけではない:潜伏推論が深度一般化のための反復探索アルゴリズムを発見
• Abstract要約: 我々は、拡張マルチホップ推論タスクにおいて、同じGPTNeoXバックボーンの5つのバリエーションをスクラッチからトレーニングし比較する。 バニラ, CoT および Pause Token モデルは ID 問題をよく解決するが, 主に局所グラフ機能に依存している。 潜在変種はより一般化され、グラフ上の前方到達可能性伝播と整合した内部ダイナミクスを示す。
• 参考スコア（独自算出の注目度）: 5.49308792359292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models can perform multi-step reasoning and improve task performance through different forms of intermediate computation, from token-based traces to computation carried out in latent space. However, a question remains open: do these different forms of thinking rely on the same underlying mechanism? To address this, we train and compare five variants of the same GPTNeoX backbone from scratch on an extended multi-hop reasoning task (ProsQA-Ext): a vanilla model, a Chain-of-Thought (CoT) model, a Pause Token model, and two latent-reasoning models that are optimized end-to-end without intermediate reasoning traces. We find that, strong in-distribution (ID) performance does not guarantee depth generalization. Vanilla, CoT, and Pause Token models solve ID problems well, but rely largely on local graph features and generalize poorly to out-of-distribution (OOD) problems with longer hops. In contrast, latent variants generalize better and show internal dynamics consistent with forward reachability propagation on the graph. Causal interventions and circuit analysis localize this computation to a sparse recurrent search circuit in the bottleneck latent model: an attention head retrieves graph relations, an MLP and the residual stream update the reachability state across recurrent steps, while multiple attention heads together then do the candidate matching. Together, these results show that different thinking mechanisms can learn distinct computational solutions, even at similar ID performance. In this setting, latent recurrence supports a reusable forward-search algorithm that generalizes beyond the training depth.
• Abstract（参考訳）: 大規模言語モデルは多段階推論を行い、トークンベースのトレースから潜在空間で実行される計算まで、様々な形の中間計算によってタスク性能を向上させることができる。 しかし、これらの異なる形の思考は、同じ基盤メカニズムに依存しているのだろうか? これを解決するために、我々は、拡張マルチホップ推論タスク(ProsQA-Ext)において、同一のGPTNeoXバックボーンのスクラッチから、バニラモデル、Chain-of-Thought(CoT)モデル、Pause Tokenモデル、および中間的推論トレースなしでエンドツーエンドに最適化された2つの潜時推論モデルにおいて、同一のGPTNeoXバックボーンの5つの変種をトレーニングし比較する。 その結果,強い分布分布(ID)性能は深度一般化を保証できないことがわかった。 Vanilla、CoT、Pause TokenモデルはIDの問題をうまく解決するが、主にローカルグラフ機能に依存し、長いホップを持つアウト・オブ・ディストリビューション(OOD)問題を一般化する。 対照的に、潜在変種はより一般化され、グラフ上の前方到達性伝播と整合した内部ダイナミクスを示す。 因果介入と回路解析は、この計算をボトルネック潜在モデルのスパース再帰サーチ回路にローカライズする:アテンションヘッドはグラフ関係を検索し、MLPと残ストリームはリカレントステップをまたいで到達可能性状態を更新し、複数のアテンションヘッドを合わせて候補マッチングを行う。 これらの結果から, 同一のID性能においても, 異なる思考機構が異なる計算解を学習できることが示唆された。 この設定では、潜時再発はトレーニング深度を超えて一般化する再利用可能な前方探索アルゴリズムをサポートする。

関連論文リスト

• Generative Recursive Reasoning [67.22973831501257]
  Generative Recursive ReAsoning Models (GRAM) は、潜在的推論を確率論的多軌道に変換するフレームワークである。 GRAMは$p_(y mid x)$で条件推論をサポートし、固定または欠落した入力では$p_(x)$で条件生成を行う。
  論文  参考訳（メタデータ） (2026-05-19T05:20:56Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• On the Out-of-Distribution Generalization of Reasoning in Multimodal LLMs for Simple Visual Planning Tasks [56.98385132295952]
  簡単な計画課題において,チェーン・オブ・ソート・アプローチがいかに一般化するかを評価する。 複数のテキスト形式を組み合わせた推論トレースが、最高の(かつ非自明な)OOD一般化をもたらすことが分かりました。 純粋にテキストベースのモデルは、画像ベースの入力を利用するモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-17T09:51:40Z)
• On the Bias of Next-Token Predictors Toward Systematically Inefficient Reasoning: A Shortest-Path Case Study [4.798155648915794]
  大規模言語モデルにおける推論を改善するための2つの重要な要因について検討する。 我々は、カスタムトークン化器を用いて、質問-トレース-回答三重項に対してデコーダのみの変換器を訓練する。 同じトレーニングの予算で、非効率なトレースで訓練されたモデルは、目に見えないグラフよりも一般化される。
  論文  参考訳（メタデータ） (2025-07-07T18:00:06Z)
• Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [60.151643048803145]
  本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。 提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。 GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-06-18T21:15:59Z)
• Entropy-Gated Branching for Efficient Test-Time Reasoning [21.810952984561116]
  テスト時間計算法は、大規模言語モデル(LLM)の推論能力と問題解決精度を大幅に向上させることができる。 本稿では,高不確実性ステップのみに分岐するEntropy-Gated Branching (EGB)を提案する。 数学と財務の推論ベンチマークでは、EGBは標準的な推論よりも22.6%精度を向上し、数学のベンチマークで31%-75%高速に動作している。
  論文  参考訳（メタデータ） (2025-03-27T20:18:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。