論文の概要: Think Wider: Mitigating Latent Rank Collapse in Implicit Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2609.07406v1
• Date: Mon, 07 Sep 2026 12:18:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.421381
• Title: Think Wider: Mitigating Latent Rank Collapse in Implicit Chain-of-Thought Reasoning
• Title（参考訳）: 急激なチェーン・オブ・サート推論における遅延ランクの崩壊の軽減
• Abstract要約: CoT推論(Chain-of-Thought reasoning)は、中間計算を導入することにより、大規模言語モデルの推論能力を向上させる。 しかし、明確な論理はデコードの長さ、レイテンシ、コンテキストコストを増大させる。 Implicit CoTは、中間的推論を連続的な潜在状態に移すことにより、より効率的な代替手段を提供する。
• 参考スコア（独自算出の注目度）: 3.216436532980238
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Chain-of-thought (CoT) reasoning improves the reasoning ability of large language models by introducing intermediate computation, but explicit rationales increase decoding length, latency, and context cost. Implicit CoT offers a more efficient alternative by moving intermediate reasoning into continuous latent states. However, latent reasoning can be unstable: successive latent states may become overly similar and collapse toward a shared dominant direction, reducing the diversity of the reasoning trajectory. In this work, we identify $\textit{latent rank collapse}$ and propose $\textbf{WIDER}$, a lightweight spectral regularizer for implicit CoT. During training, WIDER estimates the shared direction of each latent trajectory and penalizes projections onto this direction, encouraging latent states to span a broader representational subspace. The method is plug-and-play and leaves the backbone model, latent schedule, and inference-time decoding procedure unchanged. We further formulate this collapse as a geometric bottleneck in implicit reasoning, casting its mitigation as a training-time regularization problem rather than an inference-time decoding change. Extensive experiments show that WIDER improves matched implicit CoT baselines, while mechanistic analyses reveal higher effective rank, lower dominant-direction energy, and reduced redundancy among latent steps. These results highlight latent subspace utilization as an important factor for efficient continuous reasoning, providing a geometric perspective for analyzing and improving implicit CoT. Code is available at https://github.com/whitesweater/WIDER.
• Abstract（参考訳）: チェーン・オブ・シント推論(CoT)は、中間計算を導入することで大きな言語モデルの推論能力を向上するが、明確な論理はデコード長、レイテンシ、コンテキストコストを増大させる。 Implicit CoTは、中間的推論を連続的な潜在状態に移すことにより、より効率的な代替手段を提供する。 しかし、潜在的推論は不安定であり、連続的潜在状態は過度に類似し、共有支配方向に崩壊し、推論軌道の多様性が低下する。 本研究では、暗黙のCoTのための軽量スペクトル正規化器である$\textbf{WIDER}$を提案する。 トレーニング中、WIDERは各潜在軌道の共有方向を推定し、この方向への投影をペナライズし、潜在状態がより広い表現部分空間に広がるように促す。 この方法はプラグ・アンド・プレイであり、バックボーンモデル、潜時スケジュール、推論時復号処理はそのままである。 さらに、この崩壊を暗黙的推論における幾何学的ボトルネックとして定式化し、その緩和を推論時復号化よりも訓練時正規化問題として捉えた。 WIDERは暗黙のCoTベースラインを改良する一方、機械学的解析では高い有効ランク、支配的な方向エネルギーの低下、潜在ステップ間の冗長性の低下が示される。 これらの結果は、効率的な連続推論の重要な要素として潜時部分空間の利用を強調し、暗黙的なCoTの分析と改善のための幾何学的視点を提供する。 コードはhttps://github.com/whitesweater/WIDER.comで入手できる。

関連論文リスト

• Latent Thought Flow: Efficient Latent Reasoning in Large Language Models [23.52673819075993]
  本稿では,可変長連続軌道をモデルとした潜在思考フロー(LTF)を提案する。 微調整と転写学習による実験では、LTFは明示的なCoTおよび潜在推論基準よりも優れており、精度は9.5%向上し、推論長は平均27.2%低下している。
  論文  参考訳（メタデータ） (2026-06-15T05:02:46Z)
• Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
  Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。 Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。 多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
  論文  参考訳（メタデータ） (2026-05-27T15:17:06Z)
• LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval [74.72139580745511]
  LaSERは、レトリバーの潜在空間に明示的な推論を内部化する、新しい自己蒸留フレームワークである。 提案手法は, 明示的なCoTパイプラインの推論深度と, 標準的な高密度検索器の推論効率をうまく組み合わせる。
  論文  参考訳（メタデータ） (2026-03-02T04:11:18Z)
• ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
  明示的な推論連鎖は、かなりの計算冗長性をもたらす。 近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。 我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T17:08:06Z)
• Chain Of Thought Compression: A Theoritical Analysis [24.613200477865572]
  Chain-of-Thought (CoT)は、大規模言語モデルの高度な推論能力を解放した。 CoTは、余分なトークンの生成によって計算コストが禁止される。 最近の研究では、潜在状態への推論ステップの圧縮(暗黙のCoT圧縮)がトークン効率の代替となることが示されている。
  論文  参考訳（メタデータ） (2026-01-29T11:42:03Z)
• Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。 最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。 PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-29T07:38:18Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。