論文の概要: Next Thoughts Are Distributions: Generative Autoregressive Reasoning in the Latent Space
- arxiv url: http://arxiv.org/abs/2609.33271v1
- Date: Sun, 27 Sep 2026 06:26:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 01:38:01.471395
- Title: Next Thoughts Are Distributions: Generative Autoregressive Reasoning in the Latent Space
- Title（参考訳）: 次の考えは分布:潜在空間における生成的自己回帰推論
- Abstract要約: 本稿では,次の連続的思考をマルチモーダル分布としてモデル化した自己回帰的思考フロー(ATF)を紹介する。
ATFは、コンパクトな潜在トレースと強化学習の利点により精度を向上する。
以上の結果から, 連続推論がより効果的である可能性が示唆された。
- 参考スコア（独自算出の注目度）: 23.877410385411256
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reasoning problems often admit multiple valid ways to proceed. Continuous reasoning promises to move computation beyond language tokens into a more compact latent space, but representing several plausible ways to think next remains difficult. We introduce Autoregressive Thought Flow (ATF), which models the next continuous thought as a multimodal distribution. A causal autoregressive model performs the reasoning computation, while a lightweight diffusion head generates a plausible next thought from the resulting condition. The sampled thought is fed back into the model, allowing continuous reasoning to unfold for a variable number of steps while preserving the pretrained backbone. Across mathematical reasoning tasks, ATF improves accuracy with compact latent traces and benefits from reinforcement learning and additional test-time thinking. Multi-sample evaluation shows broader solution coverage, indicating that its multimodal predictions capture useful diversity among reasoning paths. Our results suggest that continuous reasoning is more effective when multiple possible next thoughts remain available rather than being collapsed into a single prediction.
- Abstract（参考訳）: 推論問題はしばしば、進行する複数の有効な方法を認める。
連続推論は、計算を言語トークンを越えてよりコンパクトな潜在空間に移行することを約束するが、次に考えるためのいくつかのもっともらしい方法を表すことは難しいままである。
本稿では,次の連続的思考をマルチモーダル分布としてモデル化した自己回帰的思考フロー(ATF)を紹介する。
因果自己回帰モデルは推論計算を行い、一方、軽量拡散ヘッドは結果の状態から妥当な次の思考を生成する。
サンプル思考はモデルにフィードバックされ、トレーニング済みのバックボーンを保存しながら、連続推論が様々なステップの展開を可能にする。
数学的推論タスク全体にわたって、ATFはコンパクトな潜在トレースで精度を改善し、強化学習と追加のテスト時間思考の恩恵を受ける。
マルチサンプル評価は、より広範なソリューションカバレッジを示し、そのマルチモーダル予測が推論経路の有用な多様性を捉えていることを示している。
以上の結果から,1つの予測に分解されるよりも,複数の可能な次の思考が利用可能である場合に,連続推論の方が効果的であることが示唆された。
関連論文リスト
- Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs [16.72007494160683]
チェーン・オブ・シント推論は離散トークン空間で展開される。
代わりにモデルの連続表現空間で推論する。
これを遅延リカレント思考とみなす。
論文 参考訳（メタデータ） (2026-09-01T11:56:17Z) - DLWM: Diverse Latent World Models for Efficient Multimodal Reasoning [5.070905256010651]
本稿では,遅延空間推論と強化学習を組み合わせた多モーダル推論フレームワークDLWMを提案する。
まず,連続潜伏空間における多種多様な潜伏世界仮説を構築し,それぞれが視覚入力の可視的解釈を捉えている。
次に、リソース制約のある逐次決定問題として、潜時推論過程を定式化する。
論文 参考訳（メタデータ） (2026-06-13T07:12:46Z) - Thinking Past the Answer: Evaluating Harmful Overthinking in Large Reasoning Models [38.84286306535778]
第1の正しい接頭辞の停止は、標準的推論よりも21%の精度向上を示す。
早期停止のような一般的な効率戦略は、冗長な過度な考えを著しく減らすが、有害な過度な過度な考えを軽減できない。
我々の研究結果は言語のみの推論ベンチマークに一般化され、より広範な信頼性リスクとして有害な過ちを浮き彫りにしている。
論文 参考訳（メタデータ） (2026-06-01T19:59:27Z) - Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。
結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。
マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
論文 参考訳（メタデータ） (2026-04-08T07:48:07Z) - ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
明示的な推論連鎖は、かなりの計算冗長性をもたらす。
近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。
我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
論文 参考訳（メタデータ） (2026-01-30T17:08:06Z) - Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。
最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。
PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
論文 参考訳（メタデータ） (2026-01-29T07:38:18Z) - Multiplex Thinking: Reasoning via Token-wise Branch-and-Merge [87.51901436392427]
大規模言語モデルは、しばしばChain-of-Thought (CoT)でより効果的に複雑な推論タスクを解決する。
対照的に、人間は、しばしば、もっともらしい次のステップに対して、引力のある確率分布を維持することによって、柔らかに理にかなっている。
我々は、K候補トークンをサンプリングし、それらの埋め込みを1つの連続多重化トークンに集約するソフトな推論機構である多重思考を提案する。
モデルは自信を持っていれば、多重化トークンはほぼ独立しており、標準のCoTのように振る舞う。
論文 参考訳（メタデータ） (2026-01-13T18:48:00Z) - Does Thinking More always Help? Mirage of Test-Time Scaling in Reasoning Models [130.5487886246353]
Wait"や"Let me rethink"といったプロンプトを使って思考トレースを拡張することで、パフォーマンスが向上します。
テスト時にもっと考えることは、本当により良い推論につながるのでしょうか?
過度に考える”という理由から,新たな思考による初期パフォーマンス改善の一貫したパターンと,それに続く低下を示す。
論文 参考訳（メタデータ） (2025-06-04T17:55:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。