論文の概要: SpecExit: Accelerating Large Reasoning Model via Speculative Exit

• arxiv url: http://arxiv.org/abs/2509.24248v1
• Date: Mon, 29 Sep 2025 03:39:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.728686
• Title: SpecExit: Accelerating Large Reasoning Model via Speculative Exit
• Title（参考訳）: SpecExit: 投機的排他による大規模推論モデルの高速化
• Authors: Rubing Yang, Huajun Bai, Song Liu, Guanghua Yu, Runzhi Fan, Yanbin Dang, Jiejing Zhang, Kai Liu, Jianchen Zhu, Peng Chen,
• Abstract要約: 我々は、将来のトークンとドラフトモデルから直接、オーバーヘッドを予測せずに早期終了シグナルを予測するフレームワークであるSpecExitを提案する。 提案手法は,平均生成長を66%削減し,エンドツーエンドのレイテンシで2.5倍の高速化を実現した。
• 参考スコア（独自算出の注目度）: 10.522333173441453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their strong performance on reasoning tasks, large reasoning models (LRMs) often suffer from overthinking, producing unnecessarily long outputs and incurring high end-to-end latency, a significant limitation to their real-world deployment. To address overthinking, early-exit mechanisms have been proposed to terminate reasoning before typical completion, showing that this approach can effectively shorten generation length with minimal impact on accuracy. However, their reliance on probing mechanisms introduces a detection overhead that limits their end-to-end latency gains and compromises their generalizability across diverse problems. Inspired by the use of hidden states in speculative decoding, we propose SpecExit, a novel framework that predicts both future tokens and an early-exit signal directly from a lightweight draft model without probing overhead. Our method offers significant improvements, reducing average generation length by 66\% and achieving a 2.5x speedup in end-to-end latency compared to the speculative decoding baseline, without compromising accuracy. Our method leverages the inherent signals from hidden states to provide effective early-exit signals, suggesting broader use of hidden states for efficient reasoning. Our code is available at https://github.com/Tencent/AngelSlim.
• Abstract（参考訳）: 推論タスクの強いパフォーマンスにもかかわらず、大きな推論モデル(LRM)は、しばしば過度に考え直し、必要以上に長いアウトプットを生成し、エンドツーエンドの遅延を発生させる。 過度に考え直すために、典型的な完成前に推論を終了させる早期終了機構が提案されており、この手法は精度に最小限の影響を伴って生成長を効果的に短縮できることを示している。 しかし、その探索機構への依存は、検出オーバーヘッドをもたらし、エンドツーエンドのレイテンシの増加を制限し、様々な問題にまたがる一般化性を損なう。 投機的復号法における隠れ状態の使用に触発されたSpecExitは、将来のトークンと軽量なドラフトモデルから直接初期出力信号を予測する新しいフレームワークである。 提案手法は,平均生成長を66\%削減し,投機的復号化ベースラインに比べて2.5倍の高速化を実現し,精度を損なうことなく大幅に改善する。 本手法は,隠蔽状態からの固有信号を有効に利用し,効率的な推論のために隠蔽状態の広範な利用を示唆する。 私たちのコードはhttps://github.com/Tencent/AngelSlim.comで利用可能です。

関連論文リスト

• Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
  大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。 Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。 不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
  論文  参考訳（メタデータ） (2025-09-27T16:25:06Z)
• $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
  $textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。 我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
  論文  参考訳（メタデータ） (2025-06-15T05:50:05Z)
• SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences [11.225649178057695]
  SpecExtendは、追加のトレーニングなしで長いシーケンスでの投機的復号化を改善する。 長い入力のドラフト精度と速度をトレーニングせずに向上させるため,クロスモデル検索を提案する。 SpecExtendは16K-tokenの長い要約で最大2.84倍、長い推論で最大3.86倍の投機的復号化を加速する。
  論文  参考訳（メタデータ） (2025-05-27T06:30:00Z)
• ThinkLess: A Training-Free Inference-Efficient Method for Reducing Reasoning Redundancy [8.962703809086628]
  ThinkLessは推論効率のよいフレームワークで、推論生成を早期に終了し、モデルを変更することなく出力品質を維持する。 我々はThinkLessが完全長のChain-of-Thought(CoT)デコードに匹敵する精度を実現し,デコード時間とメモリ消費を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2025-05-21T15:58:16Z)
• Efficient Reasoning for LLMs through Speculative Chain-of-Thought [39.56636034410561]
  OpenAI-o1やDeepseek-R1のような大きな推論言語モデルは、タスク解決能力が優れていたため、広く注目を集めている。 効率的な推論のための既存の方法は、主にモデルパラメータの数を減らしたり、チェーンオブ思考の長さを短縮することに焦点を当てている。 本稿では,平均推論速度の高速化により推理遅延を他の視点から低減するSCoT(Speculative Chain-of-Thought)を提案する。
  論文  参考訳（メタデータ） (2025-04-27T03:56:39Z)
• SpecReason: Fast and Accurate Inference-Time Compute via Speculative Reasoning [14.020244011380063]
  SpecReasonは、LEM推論を加速するシステムである。 最終回答の正確性を維持する上で、思考トークンのセマンティックな柔軟性を利用する。 バニラLEM推論よりも1.4-3.0times$のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-04-10T16:05:19Z)
• O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
  精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。 私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
  論文  参考訳（メタデータ） (2025-01-22T01:35:11Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding [65.94521678103237]
  投機的復号化(英: Speculative decoding)は、大規模言語モデルの生成プロセスを加速する広く使われている手法である。 我々は,草案作成プロセスの並列化のために,草案文を生成するOuroborosを紹介した。 ウロボロは投機的復号化で最大2.8倍、バニラ復号化で3.9倍のスピードアップを達成できる。
  論文  参考訳（メタデータ） (2024-02-21T11:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。