論文の概要: Do Latent-CoT Models Think Step-by-Step? A Mechanistic Study on Sequential Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2602.00449v1
• Date: Sat, 31 Jan 2026 01:48:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.188085
• Title: Do Latent-CoT Models Think Step-by-Step? A Mechanistic Study on Sequential Reasoning Tasks
• Title（参考訳）: 潜時CoTモデルはステップ・バイ・ステップを考えるか? : 逐次推論課題に関する力学的検討
• Authors: Jia Liang, Liangming Pan,
• Abstract要約: Latent Chain-of-Thought (Latent-CoT) は、長い論理を出力することなくステップバイステップの計算を可能にすることを目的としている。 本研究では, 連続的思考型教師学生蒸留モデルであるCODIについて, 厳密なシーケンシャル・イット・タスクについて検討する。
• 参考スコア（独自算出の注目度）: 37.23113613155819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent Chain-of-Thought (Latent-CoT) aims to enable step-by-step computation without emitting long rationales, yet its mechanisms remain unclear. We study CODI, a continuous-thought teacher-student distillation model, on strictly sequential polynomial-iteration tasks. Using logit-lens decoding, linear probes, attention analysis, and activation patching, we localize intermediate-state representations and trace their routing to the final readout. On two- and three-hop tasks, CODI forms the full set of bridge states that become decodable across latent-thought positions, while the final input follows a separate near-direct route; predictions arise via late fusion at the end-of-thought boundary. For longer hop lengths, CODI does not reliably execute a full latent rollout, instead exhibiting a partial latent reasoning path that concentrates on late intermediates and fuses them with the last input at the answer readout position. Ablations show that this partial pathway can collapse under regime shifts, including harder optimization. Overall, we delineate when CODI-style latent-CoT yields faithful iterative computation versus compressed or shortcut strategies, and highlight challenges in designing robust latent-CoT objectives for sequential reasoning.
• Abstract（参考訳）: Latent-CoT(Latent-Chain-of-Thought)は、長い論理を出力することなくステップバイステップの計算を可能にすることを目的としている。 本研究では, 連続的思考型教師学生蒸留モデルであるCODIについて, 厳密な逐次多項式定位課題について検討する。 ロージットレンズ復号、線形プローブ、アテンション解析、アクティベーションパッチを用いて、中間状態表現を局所化し、それらのルーティングを最終読み出しまで追跡する。 2ホップと3ホップのタスクでは、CODIはラテント・プリート・プリート・プリート(英語版)にまたがってデオード可能なブリッジ状態の完全なセットを形成し、最後の入力は別のニア・ダイレクト・ルートに従っている。 長いホップ長の間、CODIは完全な潜伏的なロールアウトを確実に実行せず、代わりに、後期中間子に集中し、答えの読み出し位置で最後の入力でそれらを融合する部分潜伏的な推論経路を示す。 アブレーションは、この部分経路が、より厳格な最適化を含む規則シフトの下で崩壊することを示している。 全体として、CODIスタイルの潜在CoTが、圧縮またはショートカット戦略に対して忠実な反復計算をもたらすとき、そして、シーケンシャル推論のために堅牢な潜在CoT目標を設計する際の課題を強調する。

関連論文リスト

• Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。 最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。 PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-29T07:38:18Z)
• Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
  推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。 これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。 現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
  論文  参考訳（メタデータ） (2025-10-01T17:08:59Z)
• Early Stopping Chain-of-thoughts in Large Language Models [12.243498785781087]
  ES-CoTは、応答収束を検出することによってチェーン・オブ・シント生成を短縮する推論時間法である。 ES-CoTは、標準CoTに匹敵する精度を維持しながら、推論トークンの数を平均で約41%削減する。
  論文  参考訳（メタデータ） (2025-09-17T14:14:05Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• EPiC: Towards Lossless Speedup for Reasoning Training through Edge-Preserving CoT Condensation [37.6583581020347]
  資源効率のよい推論学習におけるCoT凝縮の問題点について検討する。 本研究では,各CoTトレースの初期セグメントと最終セグメントのみを選択的に保持するエッジ保存凝縮法 EPiC を提案する。
  論文  参考訳（メタデータ） (2025-06-04T17:49:10Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。