論文の概要: INTACT: Inducing Latent Reasoning on a Frozen Backbone

• arxiv url: http://arxiv.org/abs/2610.19568v1
• Date: Wed, 14 Oct 2026 04:35:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.445905
• Title: INTACT: Inducing Latent Reasoning on a Frozen Backbone
• Title（参考訳）: INTACT: 凍結したバックボーン上で遅延推論を誘導する
• Abstract要約: 凍結したバックボーンモデルにおいて、小さな外部エンコーダを用いて遅延推論を誘導する。 IntACTはこのエンコーダを蒸留により訓練し、記述された推論ステップの効果を再現する。 また、問題ごとのエンドツーエンドのレイテンシをLlama-3.2-3Bで19%削減し、3Bスケールと8Bスケールで評価された遅延推論ベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 26.167089852503242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent reasoning replaces natural-language chains of thought with compact continuous "soft-token" representations, reducing the number of intermediate tokens that must be decoded autoregressively. We use a small external encoder to induce latent reasoning in a frozen backbone model. The encoder iteratively maps the backbone's hidden states to new latent blocks, constructing a latent reasoning prefix, after which the frozen model writes its remaining reasoning and its answer as text. Our method, INTACT, trains this encoder through distillation to reproduce the effect of written reasoning steps while keeping the model's behavior close to that of the frozen backbone, and then reinforces it on answer correctness. Across four frozen backbones from 1B to 8B, INTACT improves both GSM8K and average out-of-domain accuracy, including GSM8K gains from 75.8% to 79.3% on Llama-3.2-3B and from 77.6% to 79.7% on Qwen2.5-3B. It also reduces end-to-end latency per problem by 19% on Llama-3.2-3B and outperforms the evaluated latent-reasoning baselines at the 3B and 8B scales. Beyond the mathematics setting, the same recipe trained on a multi-domain corpus improves the frozen backbone on twelve evaluation benchmarks spanning mathematics, science, and commonsense, without task-specific adaptation.
• Abstract（参考訳）: 潜在推論は、思考の自然言語連鎖をコンパクトで連続的な「ソフトトケン」表現に置き換え、自己回帰的に復号しなければならない中間トークンの数を減らす。 凍結したバックボーンモデルにおいて、小さな外部エンコーダを用いて遅延推論を誘導する。 エンコーダは、バックボーンの隠された状態を新しい潜在ブロックに反復的にマッピングし、遅延推論プレフィックスを構築し、その後、凍結されたモデルがその残りの推論とその答えをテキストとして書き込む。 提案手法であるINTACTは,このエンコーダを蒸留によりトレーニングし,凍結した背骨に近い動作を維持しながら,記述された推論ステップの効果を再現し,回答の正しさで補強する。 1Bから8Bまでの4つの凍結したバックボーンの中で、INTACTはGSM8Kとドメイン外の平均精度を改善し、GSM8KはLlama-3.2-3Bで75.8%から79.3%、Qwen2.5-3Bで77.6%から79.7%に向上した。 また、問題ごとのエンドツーエンドのレイテンシをLlama-3.2-3Bで19%削減し、3Bスケールと8Bスケールで評価された遅延推論ベースラインを上回っている。 数学の設定以外にも、マルチドメインコーパスでトレーニングされた同じレシピは、タスク固有の適応なしに数学、科学、常識にまたがる12の評価ベンチマークにおいて、凍結したバックボーンを改善している。

関連論文リスト

• State of Thought Enables Endogenous Reasoning [48.902117018115256]
  大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。 LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。 SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
  論文  参考訳（メタデータ） (2026-09-13T05:55:03Z)
• Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs [16.72007494160683]
  チェーン・オブ・シント推論は離散トークン空間で展開される。 代わりにモデルの連続表現空間で推論する。 これを遅延リカレント思考とみなす。
  論文  参考訳（メタデータ） (2026-09-01T11:56:17Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning [0.0]
  本研究では,SudokuExtreme上の単一ブロックユニバーサルトランス (UT) のスクラッチパッドとして学習したメモリトークンについて検討した。 メモリトークンは、テストされたすべての構成で、メモリトークンのない構成は、非自明なパフォーマンスです。
  論文  参考訳（メタデータ） (2026-04-23T18:30:01Z)
• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。