論文の概要: Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression

• arxiv url: http://arxiv.org/abs/2606.29712v1
• Date: Mon, 29 Jun 2026 02:34:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.021981
• Title: Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression
• Title（参考訳）: 連続潜伏剤との相互作用 : 適応型圧縮による離散潜伏反応の解釈
• Abstract要約: 大規模言語モデルは、明示的な連鎖と強化学習を通じて高い推論性能を達成する。 潜在推論は、計算を潜在空間にシフトすることで、このコストを削減する。 連続潜時状態を明示的な離散トークンに変換する最初の方法である textbfDiscrete Latent Reasoning (DLR) を提案する。
• 参考スコア（独自算出の注目度）: 42.15219720606396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models achieve high reasoning performance via explicit chain-of-thought and reinforcement learning, but require long output sequences and extended inference time. Latent reasoning reduces this cost by shifting computation into a latent space; however, continuous latent methods are hard to train, suffering from unstable and uninterpretable reasoning trajectories. We argue these issues stem from a misalignment between continuous-space reasoning and discrete symbolic supervision, as continuous states lack explicit anchors for step-by-step alignment. To resolve this, we propose \textbf{Discrete Latent Reasoning~(DLR)}, the first method that converts continuous latent states into explicit discrete tokens. Inspired by render-based compression, we render textual chains of thought into images, extract visual features, and construct a discrete latent vocabulary via clustering-based fine-tuning. Expanding the vocabulary and output head enables standard autoregressive modeling over both natural language and latent tokens, supporting pretraining alignment, SFT, and RL. Experiments on five reasoning benchmarks and two model series~(Qwen3-VL and LLaMA-3) confirm that \textbf{DLR} outperforms prior latent reasoning baselines with up to \textbf{20$\times$ compression}. Furthermore, the learned latent trajectories retain an interpretable semantic structure. Overall, discrete latent tokens provide a controllable and interpretable basis for efficient latent reasoning.
• Abstract（参考訳）: 大規模言語モデルは、明示的な連鎖と強化学習によって高い推論性能を達成するが、長い出力シーケンスと拡張推論時間を必要とする。 潜時推論は計算を潜時空間にシフトすることでこのコストを削減するが、連続潜時手法は訓練が困難であり、不安定で解釈不能な推論軌道に悩まされている。 これらの問題は、連続状態がステップバイステップアライメントの明示的なアンカーを欠いているため、連続空間推論と離散的象徴的監督の相違に起因すると我々は主張する。 これを解決するために、連続潜時状態を明示的な離散トークンに変換する最初の方法である \textbf{Discrete Latent Reasoning~(DLR)} を提案する。 画像に思考のテキスト連鎖を描画し、視覚的特徴を抽出し、クラスタリングに基づく微調整により離散的な潜在語彙を構築する。 語彙と出力ヘッドを拡張することで、自然言語と潜在トークンの両方に対する標準的な自己回帰モデリングが可能になり、事前トレーニングアライメント、SFT、RLをサポートする。 5つの推論ベンチマークと2つのモデルシリーズ~(Qwen3-VL と LLaMA-3)の実験により、 \textbf{DLR} がより遅延推論ベースラインに優れ、最大で \textbf{20$\times$ compression} となることを確認した。 さらに、学習された潜在軌道は解釈可能な意味構造を保持する。 全体として、離散潜在トークンは効率的な潜在推論の制御可能かつ解釈可能な基礎を提供する。

関連論文リスト

• Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs [16.72007494160683]
  チェーン・オブ・シント推論は離散トークン空間で展開される。 代わりにモデルの連続表現空間で推論する。 これを遅延リカレント思考とみなす。
  論文  参考訳（メタデータ） (2026-09-01T11:56:17Z)
• Self-Consistent Latent Reasoning: Long Latent Sequence Reasoning for Vision-Language Model [56.21523258053447]
  SCOLAR(Self-Consistent LAtent Reasoning)は、1枚のショットで補助的な視覚トークンを生成する軽量なデコンバータを導入している。 SCOLARは許容遅延CoT長を30ドル以上延長し、実世界の推論ベンチマークでオープンソースモデルの間で最先端を実現している。
  論文  参考訳（メタデータ） (2026-05-12T14:13:08Z)
• Visual Latents Know More Than They Say: Unsilencing Latent Reasoning in MLLMs [54.16324124242172]
  連続潜在空間推論は、マルチモーダルモデルに対するテキストチェーンのコンパクトな代替を提供する。 既存の視覚的推論手法では,これまで見過ごされてきた最適化病理を同定する。 パラメータ更新を伴わない推論時間潜時最適化は、視覚潜時における抑止的推論能力を効果的に解き放つことを示す。
  論文  参考訳（メタデータ） (2026-05-04T15:36:12Z)
• OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation [61.18260993245354]
  Chain-of-Thought(CoT)推論は、VLAベースの自律運転において、軌道予測の強力なドライバである。 本稿では,2つの補助デコーダによって制御されるコンパクトな潜在トークンを通じて推論をルーティングする,統一VLAおよびワールドモデルフレームワークであるOneVLを提案する。 OneVLは、明示的なCoTを超える最初の遅延CoTメソッドとなり、応答のみのレイテンシで最先端の精度を提供する。
  論文  参考訳（メタデータ） (2026-04-20T16:37:22Z)
• SPOT: Span-level Pause-of-Thought for Efficient and Interpretable Latent Reasoning in Large Language Models [15.95627037350657]
  CoT (Explicit Chain-of-Thought) 計算はトークンレベルのトレースを内部化することによって高い推論コストを発生させる。 固定応答テンプレートを強制せずに、明示的なCoTをコンパクトなポーズトークンに圧縮するフレキシブルなフレームワークであるSPOTを提案する。 推論ベンチマークの実験では、SPOTは生成したトークンを37.5%削減しながら、平均2.3ポイントの精度を向上している。
  論文  参考訳（メタデータ） (2026-03-06T12:34:27Z)
• Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens [13.653741247835091]
  Latent Thoughts Tuning(LT-Tuning)は、潜在思想の構築とデプロイ方法を再定義するフレームワークである。 本研究では,コンテキスト隠蔽状態と予測意味指導を協調的に活用するコンテキスト予測融合機構を提案する。 提案手法は,既存の潜在推論ベースラインより優れ,機能崩壊を効果的に軽減し,頑健な推論精度を実現する。
  論文  参考訳（メタデータ） (2026-02-10T19:19:10Z)
• ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
  明示的な推論連鎖は、かなりの計算冗長性をもたらす。 近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。 我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T17:08:06Z)
• Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。 最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。 PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-29T07:38:18Z)
• Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。 遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。 この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。 後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。 Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
  論文  参考訳（メタデータ） (2025-10-17T10:51:20Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。