論文の概要: Selective Latent Thinking: Adaptive Compression of LLM Reasoning Chains

• arxiv url: http://arxiv.org/abs/2605.25745v1
• Date: Mon, 25 May 2026 11:57:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.926513
• Title: Selective Latent Thinking: Adaptive Compression of LLM Reasoning Chains
• Title（参考訳）: Selective Latent Thinking: Adaptive Compression of LLM Reasoning Chains
• Authors: Hui Xie, Jie Liu, Ziyue Qiao, Joaquin Vanschore,
• Abstract要約: CoT (Explicit chain-of- Thought) 推論は、大規模言語モデルの推論能力を大幅に向上させる。 既存の潜在的推論法は、推論を一様圧縮可能であるとして扱い、精度クリティカルな中間段階を過度に圧縮する。 SLT(Selective Latent Thinking)は、冗長な推論スパンを潜在表現に選択的に圧縮するフレームワークである。
• 参考スコア（独自算出の注目度）: 9.979461886634022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explicit chain-of-thought (CoT) reasoning substantially improves the reasoning ability of large language models (LLMs), but incurs high inference cost due to lengthy autoregressive traces. Existing latent reasoning methods offer a promising alternative, yet they often treat reasoning as uniformly compressible, causing precision-critical intermediate steps to be overly compressed and thereby degrading reasoning accuracy. In this work, we propose Selective Latent Thinking (SLT), a framework that selectively compresses redundant reasoning spans into latent representations while preserving precision-critical spans as explicit CoT within the same reasoning trajectory. Specifically, SLT first uses a lightweight decoder to anticipate a short upcoming reasoning span, and then applies confidence-based gating to determine the longest span that can be reliably compressed. The accepted span is encoded into a compact latent representation to improve reasoning efficiency, while uncertain or precision-critical reasoning remains in explicit CoT form to preserve accuracy. To learn this selective compression policy, SLT adopts a three-stage training strategy that combines span-level latent compression, reliability-aware future reasoning prediction, and trajectory-level reinforcement learning to optimize the trade-off between answer correctness and reasoning cost. Extensive experiments across four mathematical reasoning benchmarks demonstrate that SLT achieves 22.7\% higher accuracy than latent reasoning baselines at comparable compression ratios, while reducing reasoning chain length by 58.4\% with only 2.8\% accuracy degradation compared to explicit CoT,Our code can be found in https://github.com/hunshi34/SLT.
• Abstract（参考訳）: CoT推論は大規模言語モデル(LLM)の推論能力を大幅に向上させるが、長い自己回帰トレースのために高い推論コストを発生させる。 既存の潜在推論手法は有望な代替手段であるが、しばしば推論を一様圧縮可能なものとして扱い、精度クリティカルな中間段階を過度に圧縮し、したがって推論精度を劣化させる。 本研究では,冗長な推論スパンを潜在表現に選択的に圧縮するフレームワークであるSelective Latent Thinking (SLT)を提案する。 具体的には、SLTはまず軽量デコーダを使用して、短期的な推論スパンを予測し、次に信頼性に基づくゲーティングを適用して、確実に圧縮可能な最長のスパンを決定する。 受け入れられたスパンは推論効率を向上させるためにコンパクトな潜在表現にエンコードされるが、不確実または精度クリティカルな推論は精度を維持するために明示的なCoT形式のままである。 この選択的圧縮ポリシーを学習するために、SLTはスパンレベル遅延圧縮、信頼性を考慮した将来の推論予測、軌道レベルの強化学習を組み合わせた3段階のトレーニング戦略を採用し、回答の正しさと推論コストのトレードオフを最適化する。 4つの数学的推論ベンチマークによる大規模な実験により、SLTは遅延推論ベースラインよりも22.7\%高い精度を同等の圧縮比で達成し、推論チェーン長は、明示的なCoTに比べてわずか2.8\%の精度で58.4\%削減したことが示され、我々のコードはhttps://github.com/hunshi34/SLTで見ることができる。

関連論文リスト

• Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
  CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。 より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。 近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
  論文  参考訳（メタデータ） (2026-02-13T02:13:45Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs [57.217593337454026]
  TokenSqueezeは、パフォーマンスを保ち、自己生成データにのみ依存しながら推論パスを凝縮する新しいLong2Shortメソッドである。 TokenSqueeze は MATH500 ベンチマークの精度を維持しながらトークンの使用量を削減できることを示す。
  論文  参考訳（メタデータ） (2025-11-17T10:38:56Z)
• Think Silently, Think Fast: Dynamic Latent Compression of LLM Reasoning Chains [24.805434364781306]
  潜在空間における推論過程を動的に圧縮する新しいフレームワークであるCompressed Latent Reasoning (CoLaR)を紹介する。 CoLaRは、同等の圧縮比で遅延ベースのベースライン法よりも14.1%高い精度を達成する。 我々のRL強化CoLaRは、最大5.4%の性能向上を示しながら、遅延推論チェーン長を82.8%劇的に減少させる。
  論文  参考訳（メタデータ） (2025-05-22T11:40:26Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。