論文の概要: The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models
- arxiv url: http://arxiv.org/abs/2604.06374v1
- Date: Tue, 07 Apr 2026 18:59:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.191649
- Title: The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models
- Title（参考訳）: 重ね合わせのイラシオン : 言語モデルにおける潜在思考の原理的分析
- Abstract要約: 潜在CoTを用いた推論において,言語モデルが実際に重ね合わせを利用するかどうかを検討する。
スクラッチからトレーニングされたモデルだけが、重ね合わせを使うことの兆候を示します。
この結果は、連続連鎖推論において重畳がいつ、なぜ生じるのかを統一的に説明できる。
- 参考スコア（独自算出の注目度）: 15.12701445445687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent reasoning via continuous chain-of-thoughts (Latent CoT) has emerged as a promising alternative to discrete CoT reasoning. Operating in continuous space increases expressivity and has been hypothesized to enable superposition: the ability to maintain multiple candidate solutions simultaneously within a single representation. Despite theoretical arguments, it remains unclear whether language models actually leverage superposition when reasoning using latent CoTs. We investigate this question across three regimes: a training-free regime that constructs latent thoughts as convex combinations of token embeddings, a fine-tuned regime where a base model is adapted to produce latent thoughts, and a from-scratch regime where a model is trained entirely with latent thoughts to solve a given task. Using Logit Lens and entity-level probing to analyze internal representations, we find that only models trained from scratch exhibit signs of using superposition. In the training-free and fine-tuned regimes, we find that the superposition either collapses or is not used at all, with models discovering shortcut solutions instead. We argue that this is due to two complementary phenomena: i) pretraining on natural language data biases models to commit to a token in the last layers ii) capacity has a huge effect on which solutions a model favors. Together, our results offer a unified explanation for when and why superposition arises in continuous chain-of-thought reasoning, and identify the conditions under which it collapses.
- Abstract（参考訳）: 連続連鎖CoT(Latent CoT)による潜在推論は、離散CoT推論に代わる有望な代替手段として現れている。
連続空間での操作は表現性を高め、重畳を可能にするという仮説が立てられ、一つの表現内で複数の候補解を同時に維持する能力が考えられている。
理論的な議論にもかかわらず、言語モデルが潜在CoTを用いた推論において実際に重ね合わせを利用するかどうかは不明である。
本稿では, 潜在思考をトークン埋め込みの凸結合として構成する学習自由体制, ベースモデルを潜在思考に適応させる微調整体制, モデルを完全に潜在思考で訓練して与えられた課題を解決するアウトスクラッチ体制の3つについて考察する。
Logit Lensとエンティティレベルのプローブを用いて内部表現を解析したところ、スクラッチからトレーニングしたモデルだけが重ね合わせを使用する兆候を示すことがわかった。
トレーニング不要で微調整された体制では、重ね合わせが崩壊するか、全く使われていないことが分かり、代わりにモデルがショートカット解を発見する。
これは2つの相補的な現象に起因すると我々は主張する。
一 最終層におけるトークンにコミットするための自然言語データバイアスモデルに関する事前訓練
二 モデルがどのソリューションに好むかに大きな影響を及ぼす。
この結果は、連続的なチェーン・オブ・シークレット推論において重畳がいつ、なぜ起こるのかを統一的に説明し、それが崩壊する条件を特定するものである。
関連論文リスト
- Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression [42.15219720606396]
大規模言語モデルは、明示的な連鎖と強化学習を通じて高い推論性能を達成する。
潜在推論は、計算を潜在空間にシフトすることで、このコストを削減する。
連続潜時状態を明示的な離散トークンに変換する最初の方法である textbfDiscrete Latent Reasoning (DLR) を提案する。
論文 参考訳（メタデータ） (2026-06-29T02:34:52Z) - Ulterior Motives: Detecting Misaligned Reasoning in Continuous Thought Models [0.0]
大規模言語モデル(LLM)における複雑な推論を導く重要な手法として、CoT推論(Chain-of-Thought)が登場した。
MoralChainは12,000の社会的シナリオを並列な道徳的/不道徳的推論パスでベンチマークする。
連続的思考モデルは、一致したアウトプットを生成しながら、不一致な潜在的推論を示すことができることを示す。
論文 参考訳（メタデータ） (2026-04-25T22:43:15Z) - Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens [13.653741247835091]
Latent Thoughts Tuning(LT-Tuning)は、潜在思想の構築とデプロイ方法を再定義するフレームワークである。
本研究では,コンテキスト隠蔽状態と予測意味指導を協調的に活用するコンテキスト予測融合機構を提案する。
提案手法は,既存の潜在推論ベースラインより優れ,機能崩壊を効果的に軽減し,頑健な推論精度を実現する。
論文 参考訳（メタデータ） (2026-02-10T19:19:10Z) - Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。
最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。
PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
論文 参考訳（メタデータ） (2026-01-29T07:38:18Z) - Temporal Predictors of Outcome in Reasoning Language Models [0.0]
CoT(Chain-of-Thought)パラダイムは、推論のプロキシとしてステップバイステップの合理性の推論を使用する。
難しい問題に対して、予測精度の低下は、選択アーティファクトを浮き彫りにする。
全体として、我々の結果は、推論モデルでは、成功の自己評価はわずか数トークンで現れる傾向にあることを示唆している。
論文 参考訳（メタデータ） (2025-11-03T08:57:18Z) - A Survey on Latent Reasoning [100.54120559169735]
大きな言語モデル(LLM)は印象的な推論機能を示している。
中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。
潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
論文 参考訳（メタデータ） (2025-07-08T17:29:07Z) - A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。
大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
論文 参考訳（メタデータ） (2025-05-29T18:55:05Z) - Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space [62.54887038032942]
ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。
これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。
本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
論文 参考訳（メタデータ） (2025-05-21T17:29:15Z) - Training Large Language Models to Reason in a Continuous Latent Space [71.0274000348354]
我々は、言語を超えた推論の可能性を探るため、Coconut (Chain of Continuous Thought)と呼ばれる新しいパラダイムを導入します。
この状態を単語に復号するのではなく、連続した空間に直接埋め込む次の入力としてモデルにフィードバックします。
この潜在的推論パラダイムは、継続的思考が複数の代替の次のステップをエンコードできる高度な推論パターンを可能にする。
論文 参考訳（メタデータ） (2024-12-09T18:55:56Z) - Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。
既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。
ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
論文 参考訳（メタデータ） (2024-03-30T00:53:53Z) - Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。
このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
論文 参考訳（メタデータ） (2023-11-02T17:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。