論文の概要: Scaling Up, Speeding Up: A Benchmark of Speculative Decoding for Efficient LLM Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2509.04474v1
• Date: Sat, 30 Aug 2025 01:54:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.311375
• Title: Scaling Up, Speeding Up: A Benchmark of Speculative Decoding for Efficient LLM Test-Time Scaling
• Title（参考訳）: スケールアップとスピードアップ: 効率的なLLMテストタイムスケーリングのための投機的デコーディングのベンチマーク
• Authors: Shengyin Sun, Yiming Li, Xing Li, Yingzhao Lian, Weizhe Lin, Hui-Ling Zhen, Zhiyuan Yang, Chen Chen, Xianzhi Yu, Mingxuan Yuan, Chen Ma,
• Abstract要約: テストタイムスケーリングは、大規模言語モデルの推論能力を高めるための強力なパラダイムである。 テストタイムのスケーリングは、冗長かつ反復的な推論トレースの生成によって本質的に非効率である。 テスト時間スケーリングを高速化する投機的復号法を評価するために設計された最初の包括的なベンチマークを紹介する。
• 参考スコア（独自算出の注目度）: 38.27469349005585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time scaling has emerged as a powerful paradigm for enhancing the reasoning capabilities of large language models (LLMs) by allocating additional computational resources during inference. However, this paradigm is inherently inefficient due to the generation of redundant and repetitive reasoning traces, leading to significant computational overhead. Speculative decoding offers a promising avenue for mitigating this inefficiency, yet its efficacy in the structured, repetition-rich context of test-time scaling remains largely unexplored. To bridge this gap, we introduce the first comprehensive benchmark designed to evaluate speculative decoding methods for accelerating LLM test-time scaling. Our benchmark provides consistent experimental protocols across representative test-time scaling paradigms (e.g., Best-of-N sampling and multi-round thinking), enabling a fair comparison of three major categories of speculative decoding: model-based, training-based, and n-gram-based methods. Extensive experiments reveal that simple n-gram-based methods effectively capture repetitive patterns, demonstrating unique potential in accelerating test-time scaling. This phenomenon demonstrates the value of integrating n-gram-based methods with model-based or training-based approaches to balance acceleration for both repetitive and diverse reasoning in test-time scaling. We hope this benchmark spurs further research on speculative decoding for test-time scaling, enabling faster and more practical reasoning in LLMs through better handling of repetitive and diverse reasoning paths.
• Abstract（参考訳）: テストタイムスケーリングは、推論中に追加の計算資源を割り当てることで、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 しかし、このパラダイムは冗長かつ反復的な推論トレースの生成により本質的に非効率であり、計算オーバーヘッドが大幅に増加する。 投機的復号化は、この非効率性を緩和するための有望な道を提供するが、構造化された、繰り返しに富んだテスト時間スケーリングのコンテキストにおける有効性は、まだ明らかにされていない。 このギャップを埋めるために,LLMテストタイムスケーリングを高速化する投機的復号法を評価するために設計された,最初の包括的なベンチマークを導入する。 我々のベンチマークは、代表的なテスト時間スケーリングパラダイム(例えば、ベストオブNサンプリングとマルチラウンド思考)をまたいだ一貫した実験的なプロトコルを提供し、モデルベース、トレーニングベース、n-gramベースの3つの主要な推論デコーディングのカテゴリを公平に比較することができる。 大規模な実験では、単純なn-gramベースの手法が反復的なパターンを効果的に捉え、テスト時間スケーリングを加速するユニークな可能性を示している。 この現象は,n-gram-based法とモデルベースあるいはトレーニングベースアプローチを統合することで,反復的および多種多様な推論の両面において加速のバランスをとることの価値を示す。 このベンチマークは、テスト時間スケーリングのための投機的復号化に関するさらなる研究を加速し、反復的かつ多様な推論パスの処理により、LLMのより高速で実用的な推論を可能にすることを願っている。

関連論文リスト

• Probabilistic Optimality for Inference-time Scaling [8.126757296203957]
  大規模言語モデル(LLM)の推論性能を向上させるための強力な手法として、推論時間スケーリングが登場した。 本稿では,並列サンプルが独立かつ同一分布であるという仮定の下で,推論時間スケーリングの最適性を定式化する確率的フレームワークを提案する。 サンプル応答の最適数を動的に決定する実用的なアルゴリズムである OptScale を開発した。
  論文  参考訳（メタデータ） (2025-06-27T16:44:11Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• Scaling over Scaling: Exploring Test-Time Scaling Plateau in Large Reasoning Models [7.2703757624760526]
  大規模推論モデル(LRM)は、内部テストタイムスケーリングによる推論性能の向上能力を示した。 これらのスケーリング境界を推し進めるにつれて、現実的な限界を理解し、最適なリソース割り当てを達成することが重要な課題となります。 本稿では,テストタイムスケーリングのスケーリングプレートを調査し,TTSPM(Test-Time Scaling Performance Model)を導入する。
  論文  参考訳（メタデータ） (2025-05-26T20:58:45Z)
• Seek in the Dark: Reasoning via Test-Time Instance-Level Policy Gradient in Latent Space [82.75174050101108]
  テスト時間インスタンスレベルの適応(TTIA)を通じて推論を強化するフレームワークであるLatentSeekを紹介した。 LatentSeekは、GSM8K、MATH-500、AIME2024など、さまざまな推論ベンチマークで評価されている。 結果は、LatentSeekが一貫して強力なベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-19T16:26:02Z)
• Rethinking the Role of Prompting Strategies in LLM Test-Time Scaling: A Perspective of Probability Theory [79.63672515243765]
  本稿では、標準的で現実的なスケーリング設定である多数決に焦点をあてる。 サンプリング時間と計算オーバーヘッドが増加するにつれて、より優れた初期性能を持つ複雑なプロンプト戦略が、次第に単純なチェーン・オブ・サート(Chain-of-Thought)に遅れることが示される。 本稿では,スケーリング性能を効率的に予測し,大規模なサンプリング時間下での最良のプロンプト戦略を特定する確率的手法を提案する。
  論文  参考訳（メタデータ） (2025-05-16T08:28:57Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• SETS: Leveraging Self-Verification and Self-Correction for Improved Test-Time Scaling [39.57154199908565]
  自己拡張テストタイムスケーリング(SETS)は、並列およびシーケンシャルなテクニックを戦略的に組み合わせることで制限を克服する、シンプルで効果的なアプローチである。 SETSは、大規模言語モデルの固有の自己検証と自己計算機能を活用し、単一のフレームワーク内でサンプリング、検証、修正を統合する。 以上の結果から,SETSは代替品よりも優れた性能向上と,より有利なテスト時間スケーリング動作を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-01-31T17:03:16Z)
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters [27.656263126925815]
  LLMにおける推論時間計算のスケーリングについて検討する。 どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2024-08-06T17:35:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。