Fugu-MT 論文翻訳(概要): Tyler: Typed Latent Reasoning for Language Models -- When to Think, What to Compute, and How Much to Allocate

論文の概要: Tyler: Typed Latent Reasoning for Language Models -- When to Think, What to Compute, and How Much to Allocate

arxiv url: http://arxiv.org/abs/2606.16360v1
Date: Mon, 15 Jun 2026 07:56:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-16 16:21:34.165869
Title: Tyler: Typed Latent Reasoning for Language Models -- When to Think, What to Compute, and How Much to Allocate
Title（参考訳）: Tyler: 言語モデルのための型付き潜時推論 - いつ考えるか、何を計算するか、そして、どのようにアロケートするか
Authors: Hanyu Lin, Min Cai, Jiawei Wen, Haodi Zhang,
Abstract要約: CoT(Chain-of-Thought)は、中間計算を離散テキストトークンとして外部化することにより、大規模言語モデル(LLM)の推論を改善する。潜在推論は、連続表現で計算の一部を実行することで、有望な代替手段を提供する。 textbfTyped textbfent textbfReasoning (Tyler) を提案する。
参考スコア（独自算出の注目度）: 3.794106972075877
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Chain-of-thought (CoT) prompting improves reasoning in large language models (LLMs) by externalizing intermediate computation as discrete text tokens, but this textual interface also introduces redundancy and inference overhead. Latent reasoning offers a promising alternative by carrying part of the computation in continuous representations. However, existing methods typically predefine when latent computation is invoked and how it is allocated during decoding, leaving a key problem unresolved: when to invoke latent computation, what type of computation to perform, and how much budget to allocate. We propose \textbf{Ty}ped \textbf{L}at\textbf{e}nt \textbf{R}easoning (Tyler), a typed and budget-aware framework for latent reasoning during autoregressive decoding. Tyler learns a policy that, at each decoding step, chooses between emitting a text token and switching to a latent computation module specialized for a particular reasoning function. Once invoked, an operator maps the current reasoning state into latent tokens that support global planning, local state updates, or reusable procedural abstraction. Across extensive experiments on three backbone LLMs, Tyler improves accuracy by up to 14.49 points over CoT and by up to 4.30 points over the strongest competing baseline. It further generalizes across diverse reasoning domains and achieves the best final-stage performance with the lowest forgetting.
Abstract（参考訳）: CoT(Chain-of-Thought)は、中間計算を離散テキストトークンとして外部化することにより、大規模言語モデル(LLM)の推論を改善するが、このテキストインタフェースは冗長性と推論オーバーヘッドも導入する。潜在推論は、連続表現で計算の一部を実行することで、有望な代替手段を提供する。しかし、既存のメソッドは、遅延計算が呼び出されたとき、どのように割り当てられるかを事前に定義し、遅延計算をいつ呼び出すか、どの種類の計算を実行するか、どのくらいの予算を割り当てるかといった重要な問題を未解決のまま残している。本稿では,自己回帰復号処理における潜伏推論のための型付き,予算対応のフレームワークであるtextbf{Ty}ped \textbf{L}at\textbf{e}nt \textbf{R}easoning (Tyler)を提案する。タイラーは、各復号ステップで、テキストトークンを出力するか、特定の推論関数に特化した潜在計算モジュールに切り替えるかを選択できるポリシーを学習する。一度呼び出されると、オペレータは現在の推論状態を、グローバルプランニング、ローカル状態更新、再利用可能な手続き的抽象化をサポートする潜在トークンにマップする。 3つのバックボーンLLMの広範な実験で、タイラーはCoTで14.49ポイント、最強のベースラインで4.30ポイントまで精度を向上した。さらに様々な推論領域をまたいで一般化し、最小限の忘れ物で最高の最終段階のパフォーマンスを達成する。

論文の概要: Tyler: Typed Latent Reasoning for Language Models -- When to Think, What to Compute, and How Much to Allocate

関連論文リスト