論文の概要: Accelerated Test-Time Scaling with Model-Free Speculative Sampling

• arxiv url: http://arxiv.org/abs/2506.04708v1
• Date: Thu, 05 Jun 2025 07:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.584644
• Title: Accelerated Test-Time Scaling with Model-Free Speculative Sampling
• Title（参考訳）: モデルフリー投機サンプリングによるテスト時間スケーリングの高速化
• Authors: Woomin Song, Saket Dingliwal, Sai Muralidhar Jayanthi, Bhavana Ganesh, Jinwoo Shin, Aram Galstyan, Sravan Babu Bodapati,
• Abstract要約: STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
• 参考スコア（独自算出の注目度）: 58.69141724095398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models have demonstrated remarkable capabilities in reasoning tasks through test-time scaling techniques like best-of-N sampling and tree search. However, these approaches often demand substantial computational resources, creating a critical trade-off between performance and efficiency. We introduce STAND (STochastic Adaptive N-gram Drafting), a novel model-free speculative decoding approach that leverages the inherent redundancy in reasoning trajectories to achieve significant acceleration without compromising accuracy. Our analysis reveals that reasoning paths frequently reuse similar reasoning patterns, enabling efficient model-free token prediction without requiring separate draft models. By introducing stochastic drafting and preserving probabilistic information through a memory-efficient logit-based N-gram module, combined with optimized Gumbel-Top-K sampling and data-driven tree construction, STAND significantly improves token acceptance rates. Extensive evaluations across multiple models and reasoning tasks (AIME-2024, GPQA-Diamond, and LiveCodeBench) demonstrate that STAND reduces inference latency by 60-65% compared to standard autoregressive decoding while maintaining accuracy. Furthermore, STAND outperforms state-of-the-art speculative decoding methods by 14-28% in throughput and shows strong performance even in single-trajectory scenarios, reducing inference latency by 48-58%. As a model-free approach, STAND can be applied to any existing language model without additional training, being a powerful plug-and-play solution for accelerating language model reasoning.
• Abstract（参考訳）: 言語モデルは、ベストオブNサンプリングやツリーサーチのようなテストタイムスケーリング技術を通じて、タスクの推論において顕著な能力を示してきた。 しかし、これらのアプローチは、しばしばかなりの計算資源を必要とし、性能と効率の間に重要なトレードオフを生み出す。 提案するSTAND(Stochastic Adaptive N-gram Drafting)は,モデルのない投機的デコード手法である。 分析の結果、推論経路は類似の推論パターンを頻繁に再利用し、個別のドラフトモデルを必要としない効率的なモデルフリートークン予測を可能にすることがわかった。 最適化されたGumbel-Top-Kサンプリングとデータ駆動ツリー構築を組み合わせたメモリ効率のよいロジットベースのN-gramモジュールを通じて確率的起草と確率的情報を保存することにより、STANDはトークンの受け入れ率を大幅に改善する。 複数のモデルと推論タスク(AIME-2024、GPQA-Diamond、LiveCodeBench)にわたる広範囲な評価により、STANDは精度を維持しながら標準の自己回帰デコーディングに比べて推論遅延を60～65%削減することを示した。 さらにSTANDは、最先端の投機的復号法を14～28%スループットで上回り、単軌道シナリオにおいても高い性能を示し、推論遅延を48～58%削減する。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用することができ、言語モデルの推論を加速するための強力なプラグアンドプレイソリューションである。

関連論文リスト

• Satori-SWE: Evolutionary Test-Time Scaling for Sample-Efficient Software Engineering [51.7496756448709]
  言語モデル(LM)は、コーディングベンチマークではうまく機能するが、現実のソフトウェア工学のタスクでは苦労する。 既存のアプローチは、高品質なデータによる教師付き微調整に依存している。 本研究では, 生成を進化過程として扱うサンプル効率の高い手法であるテスト時間スケーリング(EvoScale)を提案する。
  論文  参考訳（メタデータ） (2025-05-29T16:15:36Z)
• Self-Route: Automatic Mode Switching via Capability Estimation for Efficient Reasoning [36.470695895695044]
  Self-Routeは、一般的な推論モードと推論モードを自動的に選択する動的推論フレームワークである。 トークン消費量を30～55%削減しながら,自己ルートが推論モデルに匹敵する精度を実現していることを示す。
  論文  参考訳（メタデータ） (2025-05-27T03:18:31Z)
• Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
  新しいテストタイムアライメントアプローチであるQAlignを紹介します。 テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。 マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
  論文  参考訳（メタデータ） (2025-04-04T00:41:40Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Sampling-Efficient Test-Time Scaling: Self-Estimating the Best-of-N Sampling in Early Decoding [64.2888389315149]
  テスト時のスケーリングは、デコード時に余分な計算を追加することで、大きな言語モデルのパフォーマンスを改善する。 ベストオブNサンプリング(Best-of-N sample)は一般的なスケーリング手法であり、より良いソリューションを見つけるために検索スペースを広げる。 本稿では,全サンプリングの完全生成を回避する新しい復号法であるセルフトランケーションBest-of-N(ST-BoN)を提案する。
  論文  参考訳（メタデータ） (2025-03-03T11:21:01Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [65.31658824274894]
  Best-of-N選択は、大規模言語モデルの推論性能を改善するための重要なテクニックである。 本稿では,外部報酬モデルを必要とすることなく,応答品質を推定する新規かつ効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Entropy Adaptive Decoding: Dynamic Model Switching for Efficient Inference [0.0]
  本稿では,効率的な言語モデル推論のための新しいアプローチであるEntropy Adaptive Decoding (EAD)を提案する。 EADは予測の不確実性に基づいて、異なるサイズのモデル間で切り替える。 異なるモデルファミリー間で顕著な効率向上を示す。
  論文  参考訳（メタデータ） (2025-02-05T22:15:21Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
  ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。 トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T07:32:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。