論文の概要: ThinkRouter: Efficient Reasoning via Routing Thinking between Latent and Discrete Spaces
- arxiv url: http://arxiv.org/abs/2602.11683v1
- Date: Thu, 12 Feb 2026 08:01:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-13 21:07:25.709095
- Title: ThinkRouter: Efficient Reasoning via Routing Thinking between Latent and Discrete Spaces
- Title(参考訳): ThinkRouter: 遅延空間と離散空間の間のルーティング思考による効率的な推論
- Authors: Xin Xu, Tong Yu, Xiang Chen, Haoliang Wang, Julian McAuley, Saayan Mitra,
- Abstract要約: 潜在推論は、明示的な推論軌道を潜在空間における連続的な表現に置き換えることで推論効率を向上させる。
誤った回答で終わる思考軌跡には、正しい回答で終わるものよりも低い信頼度ステップが含まれていることを示す。
本稿では,推論時信頼度を考慮したルーティング機構であるThinkを提案し,高い信頼度とノイズを回避し,効率的な推論を行う。
- 参考スコア(独自算出の注目度): 39.09794443825156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work explores latent reasoning to improve reasoning efficiency by replacing explicit reasoning trajectories with continuous representations in a latent space, yet its effectiveness varies across settings. Analysis of model confidence dynamics under latent reasoning reveals that thinking trajectories ending in incorrect answers contain fewer low-confidence steps than those ending in correct answers. Meanwhile, we suggest that soft embeddings aggregated by multiple low-confidence thinking alternatives may introduce and propagate noise, leading to high confidence in unreliable reasoning trajectories. Motivated by these observations, ThinkRouter, an inference-time confidence-aware routing mechanism is proposed to avoid high confidence and noise for efficient reasoning. ThinkRouter routes thinking to the discrete token space when model confidence is low, and to the latent space otherwise. Extensive experiments on STEM reasoning and coding benchmarks across diverse large reasoning models demonstrate that ThinkRouter outperforms explicit CoT, random routing, and latent reasoning baselines in terms of accuracy, achieving an average improvement of 19.70 points in Pass@1, while reducing generation length by up to 15.55%. Further comprehensive analysis reveals that ThinkRouter can calibrate errors arising from explicit CoT and latent reasoning, and accelerates end-of-thinking token generation by globally lowering model confidence.
- Abstract(参考訳): 最近の研究は、推論効率を改善するために、明示的な推論軌道を潜在空間における連続的な表現に置き換えることを模索しているが、その効果は設定によって異なる。
潜在的推論の下でのモデル信頼度ダイナミクスの解析は、誤った答えで終わる思考軌跡が正しい答えで終わるものよりも低い信頼度ステップを含むことを示した。
一方,複数の低信頼な思考代替手段によって集約された軟質な埋め込みは,ノイズを導入・伝播させる可能性があり,信頼性の低い推論軌道への信頼度が高いことが示唆された。
これらの観測によって動機づけられたThinkRouterは、効率的な推論のために高信頼とノイズを避けるために、推論時信頼性を考慮したルーティング機構を提案する。
ThinkRouterは、モデルの信頼性が低い場合には、個別のトークン空間に思考をルートする。
様々な大きな推論モデルにわたるSTEM推論とコーディングベンチマークに関する広範な実験は、ThinkRouterが明示的なCoT、ランダムルーティング、潜在推論ベースラインを精度で上回り、Pass@1の平均19.70ポイントの改善を実現し、生成長を最大15.55%削減したことを示している。
より包括的な分析により、ThinkRouterは、明示的なCoTと潜在推論に起因するエラーをキャリブレーションし、グローバルにモデルの信頼性を低下させることで、終端トークン生成を加速できることが明らかになった。
関連論文リスト
- Addressing Overthinking in Large Vision-Language Models via Gated Perception-Reasoning Optimization [56.59356959631999]
Gated Perception-Reasoning Optimization (GPRO) は3つの決定経路間で動的に計算をルーティングするメタ推論コントローラである。
GPROは精度と効率を大幅に改善し、最近のスロー思考法よりも優れている。
論文 参考訳(メタデータ) (2026-01-07T23:05:17Z) - Reflective Confidence: Correcting Reasoning Flaws via Online Self-Correction [14.164508061248775]
大規模言語モデル(LLM)は、チェーン・オブ・ソートや自己整合性といった技術を用いて、複雑な推論タスクにおいて強力なパフォーマンスを実現している。
本稿では,低信頼信号を終端指標からリフレクショントリガに変換する新しい推論フレームワークであるリフレクティブ信頼を提案する。
AIME 2025を含む数学的推論ベンチマークの実験では、高度な早期停止ベースラインに対して、同等の計算コストで大幅に精度が向上した。
論文 参考訳(メタデータ) (2025-12-21T05:35:07Z) - Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。
フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。
算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
論文 参考訳(メタデータ) (2025-11-13T07:26:01Z) - Certainty-Guided Reasoning in Large Language Models: A Dynamic Thinking Budget Approach [0.15749416770494704]
CGR(Certainty-Guided Reasoning)はトークン使用量を削減するとともに,ベースライン精度を向上させる。
CGRは、確実なしきい値と効率の間の調整可能なトレードオフによって、数百万のトークンを集約的に排除することができる。
信頼性を推論プロセスに統合することにより、CGRは大きな推論言語モデルをより適応的で信頼性があり、リソース効率が良いものにする。
論文 参考訳(メタデータ) (2025-09-09T14:57:15Z) - Deep Hidden Cognition Facilitates Reliable Chain-of-Thought Reasoning [33.30315111732609]
Chain of Thought (CoT)推論は驚くほど深い推論能力を示している。
しかし、その信頼性はしばしば中間段階のエラーの蓄積によって損なわれる。
本稿では,本モデルの固有精度符号化を利用したCoT推論精度の校正手法を提案する。
論文 参考訳(メタデータ) (2025-07-14T07:41:35Z) - ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。
既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。
ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
論文 参考訳(メタデータ) (2025-05-08T01:40:40Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳(メタデータ) (2025-04-07T02:42:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。