論文の概要: CALR: Continuous Anchored Latent Reasoning via Render-of-Thought Compression
- arxiv url: http://arxiv.org/abs/2610.07175v1
- Date: Mon, 05 Oct 2026 18:00:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.577533
- Title: CALR: Continuous Anchored Latent Reasoning via Render-of-Thought Compression
- Title（参考訳）: CALR(Continuous Anchored Latent Reasoning by Render-of-Thought Compression)
- Abstract要約: 視覚的潜在推論は、レンダリングの導出をコンパクトな中間状態に圧縮し、テキスト推論のオーバーヘッドを減らした。
既存のアプローチはこれらの状態を表現する方法が異なるが、離散的な手法は有限のコードブックへの量子化によって精度を向上させる。
我々の連続的および離散的なシステムの解析は、2つの機能的要件を識別する: 答えは潜在状態に依存し、それらの状態は有効な問題固有の推論をしなければならない。
機能的アンカーを通した応答利用と潜時生成を繋ぐ連続アンコレッド潜時推論(CALR)を提案する。
- 参考スコア（独自算出の注目度）: 25.786168938213063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual latent reasoning compresses rendered derivations into compact intermediate states, reducing textual reasoning overhead. Existing approaches differ in how they represent these states: continuous methods avoid vocabulary constraints, whereas discrete methods improve accuracy through quantization into a finite codebook. Our analysis of representative continuous and discrete systems identifies two functional requirements: answers must rely on latent states, and those states must carry valid, problem-specific reasoning. Continuous latents influence answers despite collapsed reasoning content, whereas discrete latents retain recoverable intermediate reasoning that answer prediction largely bypasses. To address these challenges, we propose Continuous Anchored Latent Reasoning (CALR), which connects latent formation with answer use through functional anchoring. With reference latents from information-balanced compression, CALR couples latent-mediated answer supervision with derivation-level semantic anchoring: the former routes answer supervision through intermediate states, while the latter grounds their decoded content in problem-specific derivations. A parallel-to-autoregressive curriculum develops sequential reasoning by conditioning subsequent latent blocks on generated prefixes. Evaluations on five mathematical reasoning benchmarks across model families show substantial accuracy gains. Under matched budgets, CALR gains 26.0 percentage points over a comparable continuous latent reasoning method. Further analyses show that its latents support answer prediction and carry problem-specific intermediate reasoning.
- Abstract（参考訳）: 視覚的潜在推論は、レンダリングの導出をコンパクトな中間状態に圧縮し、テキスト推論のオーバーヘッドを減らした。
連続的なメソッドは語彙制約を回避し、離散的なメソッドは有限のコードブックへの量子化によって精度を向上させる。
我々の連続的および離散的なシステムの解析は、2つの機能的要件を識別する: 答えは潜在状態に依存し、それらの状態は有効な問題固有の推論をしなければならない。
連続潜伏者が解答に影響を及ぼす一方で、離散潜伏者は解答予測がほとんど回避されるような回復可能な中間推論を保っている。
これらの課題に対処するため,機能的アンカーによる応答利用とラテント形成を繋ぐ連続アンコール遅延推論(CALR)を提案する。
情報バランス圧縮(英語版)からの参照潜時により、CALRは、潜時対応の解答監督と導出レベルのセマンティックアンカリング(英語版)を結合する: 前ルートは中間状態を通して、後者は問題固有の導出で復号された内容に答える。
パラレル・ツー・オートレグレッシブなカリキュラムは、生成されたプレフィックスに後続の潜在ブロックを条件付けることによってシーケンシャルな推論を発達させる。
モデルファミリ間での5つの数学的推論ベンチマークの評価は、かなりの精度向上を示している。
一致した予算の下では、CALRは同等の連続潜伏推論法よりも26.0ポイントを獲得した。
さらに分析した結果,潜伏者が解答予測をサポートし,問題固有の中間推論を行うことがわかった。
関連論文リスト
- When Confidence Rises Too Early: Detecting Shortcut Reasoning via Premature Answer Commitment [76.62469105933384]
大規模言語モデル (LLM) は、ある答えにたどり着くためのショートカットを頼りにし、その決定を合理化する。
ConfLensは、推論を通じて最終的な回答における信頼の進化を追跡するフレームワークです。
本稿では,解答コミットメントに対する確率分布のエントロピーを測定するために,DACS(Distributal Answer Commitment Score)を提案する。
論文 参考訳（メタデータ） (2026-09-28T13:00:25Z) - Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories [7.404380884611409]
潜在的推論法は、モデルの連続的な隠蔽状態において完全にマルチステップ推論を行う。
これらの潜伏推論ステップが最終回答を因果的に駆動するかどうかを調査する。
論文 参考訳（メタデータ） (2026-07-07T16:09:44Z) - Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression [42.15219720606396]
大規模言語モデルは、明示的な連鎖と強化学習を通じて高い推論性能を達成する。
潜在推論は、計算を潜在空間にシフトすることで、このコストを削減する。
連続潜時状態を明示的な離散トークンに変換する最初の方法である textbfDiscrete Latent Reasoning (DLR) を提案する。
論文 参考訳（メタデータ） (2026-06-29T02:34:52Z) - Visual Latents Know More Than They Say: Unsilencing Latent Reasoning in MLLMs [54.16324124242172]
連続潜在空間推論は、マルチモーダルモデルに対するテキストチェーンのコンパクトな代替を提供する。
既存の視覚的推論手法では,これまで見過ごされてきた最適化病理を同定する。
パラメータ更新を伴わない推論時間潜時最適化は、視覚潜時における抑止的推論能力を効果的に解き放つことを示す。
論文 参考訳（メタデータ） (2026-05-04T15:36:12Z) - Early Stopping for Large Reasoning Models via Confidence Dynamics [55.67938134245981]
大きな推論モデルは複雑な問題を解決するために長い連鎖生成に依存している。
重要な課題は、いつモデルが推論を止めて最終回答を生み出すべきかを決定することです。
中間回答の信頼性のダイナミクスを利用して推論をいつ終了するかを判断する早期停止手法であるCoDE-Stopを提案する。
論文 参考訳（メタデータ） (2026-04-06T17:59:45Z) - How Do Latent Reasoning Methods Perform Under Weak and Strong Supervision? [45.11635323173876]
我々は、プロセスにおける潜伏表現の役割と振舞いをよりよく理解するために、潜伏推論手法の包括的な分析を行う。
潜在表現は複数の可能性をエンコードできるが、推論プロセスは構造化検索を忠実に実装していない。
より強い監督はショートカット行動を緩和するが、多種多様な仮説を維持するために潜伏表現の能力を制限する。
論文 参考訳（メタデータ） (2026-02-25T22:00:59Z) - Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。
遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。
この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。
後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。
Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
論文 参考訳（メタデータ） (2025-10-17T10:51:20Z) - A Survey on Latent Reasoning [100.54120559169735]
大きな言語モデル(LLM)は印象的な推論機能を示している。
中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。
潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
論文 参考訳（メタデータ） (2025-07-08T17:29:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。