論文の概要: How Many Thoughts Can a Vector Hold? The Capacity of Reasoning by Superposition
- arxiv url: http://arxiv.org/abs/2609.13747v1
- Date: Sat, 12 Sep 2026 06:35:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.503622
- Title: How Many Thoughts Can a Vector Hold? The Capacity of Reasoning by Superposition
- Title（参考訳）: ベクトルが保持できる思想はいくつあるか : 重ね合わせによる推論能力
- Abstract要約: 大規模言語モデルは、多段階推論の中間計算によって難しい問題を解く。
最近の連続的および反復的な手法は、部分的な計算を固定次元の潜在状態へ移動させる。
継続的思考は推論が進むにつれて何を保持するべきか?
同一の下流計算の下では、完全な推論履歴を保持する累積的重ね合わせは、表現次元を低くする必要がある。
- 参考スコア（独自算出の注目度）: 8.963467620130215
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models solve hard problems through intermediate computations across multi-step reasoning. Traditional chain-of-thought encodes these computations as tokens. Recent continuous and recurrent methods instead move partial computations into fixed-dimensional latent states, where a single thought can superpose multiple alternatives. This raises a fundamental design question:what should continuous thoughts preserve as reasoning proceeds? An intuitive approach discards past computations and keeps only the current reasoning frontier. Storing more items seems to dilute states and waste limited representational capacity. We show this intuition can be incorrect. Under identical downstream computations, cumulative superposition retaining full reasoning history can require lower representational dimensions than frontier-only superposition holding only current alternatives. At fixed hidden width, this advantage allows latent reasoners to retain more valid evidence, distinguish more plausible downstream outcomes, and delay the point where compressed states turn unreliable. This counter-intuitive effect emerges because informative historical components coherently reinforce each other, while unrelated alternatives bring random interference. This perspective also answers a practical design question: how should models weight memories accumulated inside latent states when their future use is unknown? Across reusable weighted superpositions, prioritizing a small set of recent or salient items produces weakly-represented memories that bottleneck subsequent attention. Uniform cumulative weighting avoids this flaw, and we prove it is minimax-optimal for robust future reasoning. Our results turn superposition from an observed latent-space effect into a design principle: balanced cumulative memory lets a fixed representational budget support more reliable, reusable computations.
- Abstract（参考訳）: 大規模言語モデルは、多段階推論の中間計算によって難しい問題を解く。
伝統的なチェーン・オブ・シントはこれらの計算をトークンとしてエンコードする。
最近の連続的および反復的な手法は、部分的な計算を固定次元の潜在状態に移し、一つの思考が複数の代替を重畳することができる。
継続的思考は推論が進むにつれて何を保持するべきか?
直感的なアプローチは過去の計算を捨て、現在の推論フロンティアのみを保持する。
より多くのアイテムを保管することは、状態を減らし、表現能力の制限を省くように思える。
この直観は誤りであることを示す。
同一の下流計算の下では、完全な推論履歴を保持する累積重ね合わせは、現在の選択肢のみを保持するフロンティアのみの重ね合わせよりも低い表現次元を必要とする。
固定された隠れた幅では、この利点により、潜在的推論者はより有効な証拠を保持し、より妥当な下流の結果を区別し、圧縮された状態が信頼できない点を遅らせることができる。
この反直感的効果は、情報的歴史的成分が互いに一貫性を持って強化するのに対して、無関係な代替物はランダムな干渉をもたらすため現れる。
この視点はまた、現実的な設計上の問題にも答える: 将来の使用方法が不明な状態において、モデルウェイトメモリを潜在状態内に蓄積するにはどうすればよいか?
再利用可能な重み付けされた重ね合わせ全体において、最近の、または健康な項目の小さなセットの優先順位付けは、後続の注意をボトルネックにする弱い表現された記憶を生み出す。
一様累積重み付けはこの欠陥を回避し、より堅牢な将来の推論に最適であることを示す。
我々の結果は、観測された潜在空間効果からの重畳を設計原則に変える: バランスの取れた累積記憶により、固定された表現予算がより信頼性が高く再利用可能な計算をサポートする。
関連論文リスト
- Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs [16.72007494160683]
チェーン・オブ・シント推論は離散トークン空間で展開される。
代わりにモデルの連続表現空間で推論する。
これを遅延リカレント思考とみなす。
論文 参考訳（メタデータ） (2026-09-01T11:56:17Z) - RecRec: Latent Interests Recursive Reasoning for Sequential Recommendation [52.23179023639867]
逐次リコメンデータシステムは、ユーザインタラクションをエンコードし、次の項目を予測するために、1つのフォワードパスに依存している。
シーケンシャルなレコメンデーションのための推論プロセスをどのように構成するかは、未解決の問題である。
既存のアプローチでは、推論と予測を単一の$d$次元の状態に分割し、推論の深さを制限する。
本稿ではRLフリーフレームワークRecRec(Recursive Reasoning for Recommendation)を提案する。
論文 参考訳（メタデータ） (2026-07-14T16:28:28Z) - DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する
我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。
本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
論文 参考訳（メタデータ） (2026-07-01T02:32:02Z) - Inference-Time Rethinking with Latent Thought Vectors for Math Reasoning [44.0190939401003]
推論時間再考(Inference-Time Rethinking)は、反復的な自己補正を可能にする生成フレームワークである。
我々は、推論を連続的な潜在思考ベクトル(何を推論すべきか)と、このベクトル上で条件付けられたトレースを言語化する復号器に分解する。
論文 参考訳（メタデータ） (2026-02-06T10:23:18Z) - ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
明示的な推論連鎖は、かなりの計算冗長性をもたらす。
近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。
我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
論文 参考訳（メタデータ） (2026-01-30T17:08:06Z) - Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。
最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。
PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
論文 参考訳（メタデータ） (2026-01-29T07:38:18Z) - Towards Inference-time Scaling for Continuous Space Reasoning [55.40260529506702]
推論時間スケーリングは、大規模言語モデルにおけるテキストベースの推論に有効であることが証明されている。
本稿では,そのような確立された手法が連続空間における推論にうまく適応できるかどうかを考察する。
本研究では,ドロップアウト型サンプリングによる多種多様な推論経路の実現可能性を示す。
論文 参考訳（メタデータ） (2025-10-14T05:53:41Z) - Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。
標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。
パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
論文 参考訳（メタデータ） (2025-07-02T23:35:21Z) - ThinkLess: A Training-Free Inference-Efficient Method for Reducing Reasoning Redundancy [8.962703809086628]
ThinkLessは推論効率のよいフレームワークで、推論生成を早期に終了し、モデルを変更することなく出力品質を維持する。
我々はThinkLessが完全長のChain-of-Thought(CoT)デコードに匹敵する精度を実現し,デコード時間とメモリ消費を大幅に削減することを示した。
論文 参考訳（メタデータ） (2025-05-21T15:58:16Z) - Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models [58.64449765678416]
思考のランドスケープ(LoT)を導入し、任意の複数選択データセット上で特定の推論手法で推論軌跡を検査する。
LoTは、強いモデルと弱いモデル、正解と誤解、および異なる推論タスクを区別する。
トラジェクトリの正しさを評価する軽量検証器にLoTを適用することで、この利点を実証する。
論文 参考訳（メタデータ） (2025-03-28T06:09:51Z) - Back to the Future: Unsupervised Backprop-based Decoding for
Counterfactual and Abductive Commonsense Reasoning [79.48769764508006]
ジェネレーティブ言語モデル(LM)は、過去の文脈のみを条件にするか、狭い範囲のテキスト入力を実行するよう訓練することができる。
我々は過去と将来の両方の文脈を柔軟に組み込むことができる新しい教師なし復号アルゴリズムであるDeLoreanを提案する。
提案手法は, 帰納的テキスト生成と反事実的ストーリーリビジョンの2つの非単調推論タスクに適用可能であることを示す。
論文 参考訳（メタデータ） (2020-10-12T17:58:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。