論文の概要: Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers

• arxiv url: http://arxiv.org/abs/2606.31779v1
• Date: Tue, 30 Jun 2026 14:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.277871
• Title: Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
• Title（参考訳）: ループ変換器による潜時と明示的推論のギャップを埋める
• Abstract要約: 言語モデルは典型的には明示的なチェーン・オブ・シント(CoT)を介して推論される Latent CoTは、モデルの隠された状態において、多段階の推論を実行する代替手段を提供する。 ループトランスフォーマーは、潜伏推論に自然に適合する。
• 参考スコア（独自算出の注目度）: 24.474589810964158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models typically reason via explicit chain-of-thought (CoT), generating intermediate steps token-by-token. Latent CoT offers an alternative: it performs multi-step reasoning in the model's hidden states, replacing decoded tokens with continuous representations for greater efficiency. However, existing latent CoT methods underperform explicit CoT beyond 1B parameters, and the gap widens with scale. Looped, or recurrent-depth, Transformers, which reuse their weights to increase computation depth without adding parameters, are a natural fit for latent reasoning. We therefore ask whether looped Transformers can bridge this gap. We answer affirmatively with a simple recipe: a looped padded Transformer that processes K latent blocks in parallel for R iterations, with a cross-entropy loss on each latent position's gold CoT-step token, similar to explicit CoT supervision. We instantiate it as LOTUS (Looped Transformers with parallel supervision on latents). LOTUS is, to our knowledge, the first latent-CoT method to bridge the gap to explicit CoT at the 3B scale, while cutting thought-phase latency by 2.5x-6.9x from compact math expressions to natural language. Projecting LOTUS's post-loop latents through the base LM head recovers the gold reasoning steps and even surfaces alternative valid intermediate steps, evidence that its latent space is interpretable and CoT-aligned. Ablations confirm that both the looped backbone and the parallel supervision on gold CoT tokens are essential.
• Abstract（参考訳）: 言語モデルは通常、明示的なチェーン・オブ・シント(CoT)を通じて推論し、中間ステップをトークン・バイ・トークンとして生成する。 Latent CoTは、モデルの隠れた状態において複数ステップの推論を実行し、デコードされたトークンをより効率的な連続表現に置き換える、という代替手段を提供する。 しかし、既存の潜在CoT法は1Bパラメータを超えて明示的なCoTを演算し、ギャップは拡大する。 パラメータを追加することなく計算深度を向上させるために重みを再利用するループあるいは再帰的なトランスフォーマーは、潜時推論に自然に適合する。 したがって、ループトランスフォーマーがこのギャップを埋めるかどうかを問う。 ループされたパッド付きトランスフォーマーは、Rの繰り返しに対してKのラテントブロックを並列に処理し、各ラテント位置の金CoTステップトークンにクロスエントロピーロスを与える。 LOTUS(Looped Transformers with parallel supervision on latents)としてインスタンス化します。 LOTUSは、我々の知る限り、3Bスケールで明示的なCoTにギャップを埋める最初の潜在CoT法であり、コンパクトな数学式から自然言語への思考位相遅延を2.5x-6.9x削減している。 基本LMヘッドを通してLOTUSのポストループラテントを投影すると、金の推論ステップが回復し、代替の有効な中間ステップが表面化し、そのラテント空間が解釈可能でCoT整列であることが証明される。 アブレーションにより、ループバックボーンと金のCoTトークンの並列監視の両方が必須であることが確認される。

関連論文リスト

• Think Wider: Mitigating Latent Rank Collapse in Implicit Chain-of-Thought Reasoning [3.216436532980238]
  CoT推論(Chain-of-Thought reasoning)は、中間計算を導入することにより、大規模言語モデルの推論能力を向上させる。 しかし、明確な論理はデコードの長さ、レイテンシ、コンテキストコストを増大させる。 Implicit CoTは、中間的推論を連続的な潜在状態に移すことにより、より効率的な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-09-07T12:18:51Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
  Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。 Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。 多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
  論文  参考訳（メタデータ） (2026-05-27T15:17:06Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
  思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。 この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
  論文  参考訳（メタデータ） (2024-02-20T10:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。