論文の概要: TableTune: Measured, Self-Correcting Draft-Length Tables for Dynamic Speculative Decoding
- arxiv url: http://arxiv.org/abs/2610.38968v2
- Date: Mon, 02 Nov 2026 17:44:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 02:41:45.007359
- Title: TableTune: Measured, Self-Correcting Draft-Length Tables for Dynamic Speculative Decoding
- Title（参考訳）: TableTune:動的投機復号のための自己修正ドラフト長テーブル
- Abstract要約: 投機的復号化は、GPUが計算に余裕がある間のみ、大きな言語モデル(LLM)を高速化する。
vLLMは手書きのテーブルで各バッチサイズのドラフト長を設定するが、そのテーブルを測ったり修正したりすることはない。
チューナは、バッチサイズ毎のデコードステップと、vLLM自身のサービスパスのドラフトの長さを計測し、数分でスループットを最大化するテーブルを計算します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding speeds up large language model (LLM) serving only while the GPU has spare compute, so the best draft length, the number of tokens a small drafter guesses per step, shrinks as the batch grows. vLLM lets operators set the draft length for each batch size with a hand-written table, but nothing measures or corrects that table. We present TableTune. Its tuner times the decoding step for every batch size and draft length on vLLM's own serving path and computes, in minutes, the table that maximizes throughput. Its controller, a vLLM plugin, tracks how many guesses are accepted in live traffic and rebuilds the table while serving. We measure TableTune only against other ways to speculate. On an H100, the tuned table delivers at least 94% of the throughput of the best fixed draft length at every load in four of five drafter settings (88% in the fifth) without the operator having to know which length that is. Against reimplementations of TurboSpec- and Nightjar-style control on the same engine, its worst-case loss is never higher than theirs, and with the EAGLE-3 drafter it is 3% against 9% and 12%. On a mixture-of-experts model, vLLM's documented table loses up to 18% and the tuned table at most 3%. Starting from mistuned tables, the controller raises throughput by up to 58% (up to 45% on vLLM's default runner), and after a workload switch with the DFlash drafter it recovers 96% of a stale table's loss. In llm-d's optimized-baseline deployment as shipped, two Qwen3-32B replicas on four GPUs, the tuned table is up to 32% faster than a fixed draft length of 3 and up to 25% faster than vLLM's documented table at high load, and the controller raises the documented table's throughput by up to 29%.
- Abstract（参考訳）: 投機的復号化はGPUが計算に余裕がある間のみ大きな言語モデル(LLM)を高速化するので、最良のドラフトの長さは、小さなドラフト作成者がステップ毎に推測するトークンの数であり、バッチが増加するにつれて縮小する。
vLLMは手書きのテーブルで各バッチサイズのドラフト長を設定するが、そのテーブルを測ったり修正したりすることはない。
ではTableTuneを紹介します。
チューナは、バッチサイズ毎のデコードステップと、vLLM自身のサービスパスのドラフトの長さを計測し、数分でスループットを最大化するテーブルを計算します。
vLLMプラグインであるコントローラは、ライブトラフィックで受け入れられる推測数を追跡し、サービス中にテーブルを再構築する。
われわれはTableTuneを他の推測方法に対してのみ測定する。
H100では、調整されたテーブルは、各負荷毎の最高の固定されたドラフト長のスループットの少なくとも94%を、オペレータがその長さを知る必要なしに、5つのドラフトラ設定(5分の88%)で提供する。
同じエンジンでTurboSpecやNightjarスタイルの制御が再実装されるのに対して、最悪のケースの損失は彼らのものよりも高くはならず、EAGLE-3のドラフトでは9%と12%に対して3%であった。
エキスパートの混合モデルでは、vLLMのドキュメントテーブルは最大18%、チューニングテーブルは最大3%を失う。
不正なテーブルから始めて、コントローラはスループットを最大58%向上(vLLMのデフォルトランナでは最大45%)し、DFlashドラフトラとのワークロードスイッチの後、古いテーブルの損失の96%を回復する。
出荷されたllm-dの最適化ベースラインデプロイメントでは、4つのGPU上の2つのQwen3-32Bレプリカが、チューニングされたテーブルは3の固定ドラフト長よりも最大32%、高負荷時にvLLMのドキュメントテーブルよりも最大25%、ドキュメント化されたテーブルのスループットを最大29%向上する。
関連論文リスト
- Low-Bit N-Gram Embeddings for Language Models [14.556758955830796]
我々は,n-gram 埋め込みテーブルのメモリ要求を低減するため,n-gram 埋め込みを低精度で保存することを提案する。
4ビットテーブルは、約75%のテーブルメモリを節約し、バリデーションとロスの改善の99%以上を保存していることがわかった。
これらの結果から,n-gram 埋め込みのメモリ要求を低減させる実用的な方法として,低ビット精度が確立された。
論文 参考訳（メタデータ） (2026-10-22T17:56:13Z) - MemoProAgent: Toward Memory-Driven Proactive Assistance [62.65924263961032]
MemoProBenchは、メモリ駆動型プロアクティブアシストのベンチマークである。
それは、エゴセントリックなビデオと、年長で気を散らすようなユーザー記憶を合わせたものだ。
トレーニングなしでは、MemoProAgentはQwen3.8-27Bで10%未満から37.5%、GPT-5.3-Chatで38%まで厳格な精度を上げた。
論文 参考訳（メタデータ） (2026-10-15T21:40:17Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode [0.0]
CPU上のシングルトークンの自己回帰デコードは、演算ではなくメモリ帯域幅によって拘束される。
このレポートは、最も効果的な反応はモデルアーキテクチャと推論を一緒に設計することであると主張している。
CPUファーストのストリーミングエンジンであるcflowと、パイプラインネイティブなトランスフォーマーアーキテクチャのファミリが同梱されている。
論文 参考訳（メタデータ） (2026-08-24T21:28:05Z) - From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing [50.70862449978062]
最近の文書では OmniDocBench v1.6 の 93 以上の TEDS スコアが達成されている。
このギャップを定量化するために、916の現実世界のテーブルの診断ベンチマークであるTableParseMapを紹介します。
論文 参考訳（メタデータ） (2026-08-10T16:59:30Z) - CORE-T: COherent REtrieval of Tables for Text-to-SQL [91.76918495375384]
CORE-Tはスケーラブルでトレーニング不要なフレームワークで、テーブルに目的のメタデータを付加し、軽量なテーブル互換キャッシュをプリコンプリートする。
バード、スパイダー、MMQAを越えて、CORE-Tはテーブル選択F1を最大22.7ポイント改善し、最大42%のテーブルを検索する。
論文 参考訳（メタデータ） (2026-01-19T14:51:23Z) - Adaptive Execution Scheduler for DataDios SmartDiff [0.0]
2つの実行モードを持つ1つの差分エンジン(SmartDiff)に対する適応型スケジューラを提案する。
スケジューラは、CPUとメモリの固定予算内でバッチサイズとワーカー/スレッド数を調整し、p95レイテンシを最小限にする。
合成と公開のベンチマークで、スケジューラは、調整したウォームアップに比べて、p95のレイテンシを23～28%削減する。
論文 参考訳（メタデータ） (2025-10-09T05:40:16Z) - Table-LLM-Specialist: Language Model Specialists for Tables using Iterative Generator-Validator Fine-tuning [52.08794743921141]
本稿では,テーブルタスクに特化して設計された自己学習ファインチューニングパラダイムとして,テーブル-LLM-スペシャリスト(Table-LLM-Specialist,略してテーブル-スペシャリスト)を提案する。
論文 参考訳（メタデータ） (2024-10-16T02:04:17Z) - Generating Tables from the Parametric Knowledge of Language Models [6.316194671269148]
大規模言語モデル(LLM)のパラメトリック知識から表を生成することを検討する。
GPT-3.5, GPT-4, Llama2-13B, Llama2-70Bの表生成能力について検討した。
評価のために、100のキュレートされたウィキペディアテーブルを含む新しいベンチマークWikiTabGenを導入する。
論文 参考訳（メタデータ） (2024-06-16T12:55:55Z) - TabSQLify: Enhancing Reasoning Capabilities of LLMs Through Table Decomposition [6.253771639590562]
テーブル推論は、自然言語の質問と構造化データの両方を理解する必要がある難しいタスクである。
テキスト・ツー・ジェネレーションを利用したテーブルを,より小さく,関連するサブテーブルに分解する新しい方法であるTabifyを提案する。
WikiTQベンチマークでは,64.7%の精度で精度が向上した。
論文 参考訳（メタデータ） (2024-04-15T21:42:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。