論文の概要: Taming Speculative Search for Test-Time Scaling in LLM Serving

• arxiv url: http://arxiv.org/abs/2609.39334v1
• Date: Wed, 30 Sep 2026 09:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.477651
• Title: Taming Speculative Search for Test-Time Scaling in LLM Serving
• Title（参考訳）: LLMサービングにおけるテスト時間スケーリングの推論探索
• Abstract要約: SpecScaleは効率的な投機的実行のためのサービスシステムである。 本稿では,レイテンシと計算オーバーヘッドのトレードオフを緩和する3つの手法を提案する。 その結果,SpecScaleは非投機的アプローチと最近の投機的アプローチの両方で著しく優れていた。
• 参考スコア（独自算出の注目度）: 12.147849847353298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time scaling has recently emerged as a powerful approach for improving LLM reasoning by allocating additional computation during inference, substantially enhancing accuracy on challenging tasks such as mathematics and coding. To accelerate the exploration of reasoning paths, recent studies proposed speculative execution. However, we show that supporting speculative execution poses two unique challenges for LLM serving systems: (1) an explosion in the search space of candidate paths and (2) frequent, fine-grained verification tasks for candidates. To address these challenges, this paper proposes SpecScale, a serving system for efficient speculative execution. We introduce three techniques to reconcile the trade-off between latency and computational overhead: (1) early pruning of low-quality candidate paths, (2) deduplicating computation across redundant candidate paths, and (3) deferring fine-grained verification tasks. We evaluate SpecScale on challenging reasoning benchmarks, including MATH and Olympiad. Our results show that SpecScale significantly outperforms both non-speculative and recent speculative approaches, delivering substantial improvements in throughput and latency while preserving answer quality.
• Abstract（参考訳）: テストタイムスケーリングは、最近、推論中に余分な計算を割り当てることでLCM推論を改善するための強力なアプローチとして現れ、数学やコーディングといった課題における精度を大幅に向上させた。 推論経路の探索を加速するため、最近の研究では投機的実行が提案されている。 しかしながら, 投機的実行の支援は, 1) 候補経路の探索空間の爆発と(2) 頻繁できめ細かな検証タスクという, LLM サービスシステムに特有の2つの課題をもたらすことを示す。 これらの課題に対処するために,効率的な投機的実行のためのサービスシステムであるSpecScaleを提案する。 1)低品質な候補経路の早期刈り取り、(2)冗長な候補経路をまたいだ計算の重複化、(3)きめ細かい検証タスクの遅延化である。 我々はSpecScaleをMATHやOlympiadなど、挑戦的な推論ベンチマークで評価する。 その結果、SpecScaleは非投機的アプローチと最近の投機的アプローチの両方を著しく上回り、解答品質を維持しながらスループットとレイテンシを大幅に向上させることがわかった。

関連論文リスト

• EmbodiedMind: Adaptive Data Curation and Prefix-Tree Reinforcement Learning for Efficient Embodied Intelligence [16.235377888683043]
  EmMindは18ベンチマークで70.02%の最先端の平均性能を達成し、長期タスク計画精度で他の実施基盤モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-09-17T03:59:11Z)
• ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
  我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。 ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。 1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
  論文  参考訳（メタデータ） (2026-07-01T09:58:59Z)
• LLM Optimization Unlocks Real-Time Pairwise Reranking [6.0141312590967635]
  Pairwise Re rank Prompting (PRP) はそのユーザビリティと有効性から,将来性のあるプラグアンドプレイアプローチとして登場した。 本稿では、ペアワイズ・リライジングに焦点を合わせ、厳密な最適化手法がこれらの問題を著しく軽減できることを実証する。 Recall@kで測定されたパフォーマンスは、61.36秒から0.37秒まで、最高166倍の遅延削減を実現しています。
  論文  参考訳（メタデータ） (2025-11-10T19:04:41Z)
• Adaptive Test-Time Reasoning via Reward-Guided Dual-Phase Search [62.1546099504045]
  本稿では、推論を計画と実行に分離する二相テストタイムスケーリングフレームワークを提案する。 具体的には、推論軌跡を分解し、各フェーズの報酬モデルを構築し、探索者が個別に計画と実行を探索、実行できるようにする。 数学的推論とコード生成ベンチマークの両方の実験により、我々の手法は計算の冗長性を低減しつつ、常に精度を向上することを示した。
  論文  参考訳（メタデータ） (2025-09-29T19:27:23Z)
• Efficiently Scaling LLM Reasoning with Certaindex [25.549811985276488]
  テストタイム推論アルゴリズムは、精度を向上することなく、多くのトークンを無駄に生成することができる。 本稿では,アルゴリズムに依存しない測定値であるCertaindexを導入する。 Certaindexは軽量で、早期終了による推論プログラムの推論を加速し、動的トークン割り当てを可能にする。
  論文  参考訳（メタデータ） (2024-12-30T14:57:53Z)
• Step-by-Step Reasoning for Math Problems via Twisted Sequential Monte Carlo [55.452453947359736]
  Twisted Sequential Monte Carlo(TSMC)に基づく新しい検証手法を提案する。 TSMCを大規模言語モデルに適用し、部分解に対する将来的な報酬を推定する。 このアプローチは、ステップワイドなヒューマンアノテーションを必要としない、より直接的なトレーニングターゲットをもたらす。
  論文  参考訳（メタデータ） (2024-10-02T18:17:54Z)
• Quantum Algorithm Exploration using Application-Oriented Performance Benchmarks [0.0]
  Application-Oriented BenchmarksのQED-Cスイートは、量子コンピュータの性能特性を測定する機能を提供する。 我々は,このベンチマーク手法がより複雑なアプリケーションに適用される可能性を広げる上での課題について検討する。
  論文  参考訳（メタデータ） (2024-02-14T06:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。