論文の概要: SPEED-Bench: A Unified and Diverse Benchmark for Speculative Decoding
- arxiv url: http://arxiv.org/abs/2604.09557v1
- Date: Tue, 10 Feb 2026 16:19:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-19 19:09:11.493165
- Title: SPEED-Bench: A Unified and Diverse Benchmark for Speculative Decoding
- Title（参考訳）: SPEED-Bench: 投機的デコードのための統一および多元的ベンチマーク
- Abstract要約: 投機的復号化(SD)は,Large Language Model(LLM)推論を高速化する重要な手法として登場した。
以前のベンチマークでは、タスクの多様性の制限、スループット指向の評価の不十分なサポート、プロダクション環境を反映できないハイレベルな実装への依存に悩まされていた。
SPEED-Benchは多種多様な意味領域と現実的なサービス体制をまたいだSD評価を標準化するために設計された総合的なスイートである。
- 参考スコア（独自算出の注目度）: 3.876913658180685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative Decoding (SD) has emerged as a critical technique for accelerating Large Language Model (LLM) inference. Unlike deterministic system optimizations, SD performance is inherently data-dependent, meaning that diverse and representative workloads are essential for accurately measuring its effectiveness. Existing benchmarks suffer from limited task diversity, inadequate support for throughput-oriented evaluation, and a reliance on high-level implementations that fail to reflect production environments. To address this, we introduce SPEED-Bench, a comprehensive suite designed to standardize SD evaluation across diverse semantic domains and realistic serving regimes. SPEED-Bench offers a carefully curated Qualitative data split, selected by prioritizing semantic diversity across the data samples. Additionally, it includes a Throughput data split, allowing speedup evaluation across a range of concurrencies, from latency-sensitive low-batch settings to throughput-oriented high-load scenarios. By integrating with production engines like vLLM and TensorRT-LLM, SPEED-Bench allows practitioners to analyze system behaviors often masked by other benchmarks. We highlight this by quantifying how synthetic inputs overestimate real-world throughput, identifying batch-size dependent optimal draft lengths and biases in low-diversity data, and analyzing the caveats of vocabulary pruning in state-of-the-art drafters. We release SPEED-Bench to establish a unified evaluation standard for practical comparisons of SD algorithms.
- Abstract（参考訳）: 投機的復号化(SD)は,Large Language Model(LLM)推論を高速化する重要な手法として登場した。
決定論的システム最適化とは異なり、SD性能は本質的にデータ依存であり、多種多様な代表的ワークロードがその効果を正確に測定するために不可欠である。
既存のベンチマークは、タスクの多様性の制限、スループット指向の評価の不十分なサポート、プロダクション環境を反映できないハイレベルな実装への依存に悩まされている。
SPEED-Benchは,多様なセマンティックドメインと現実的なサーブレジームにまたがるSD評価の標準化を目的とした総合的なスイートである。
SPEED-Benchは、データサンプル間のセマンティック多様性の優先順位付けによって選択された、慎重にキュレートされた定性データ分割を提供する。
さらに、スループデータ分割が含まれており、レイテンシに敏感なローバッチ設定からスループット指向の高負荷シナリオに至るまで、さまざまな並行処理のスピードアップ評価が可能になる。
vLLMやTensorRT-LLMといったプロダクションエンジンを統合することで、SPEED-Benchは実践者が他のベンチマークで隠されたシステムの振る舞いを分析することができる。
実世界のスループットを過大評価する方法を定量化し、低多様性データにおけるバッチサイズ依存の最適ドラフト長とバイアスを特定し、最先端のドラフトラにおける語彙プルーニングの注意点を解析することによって、これを強調する。
我々はSPEED-Benchをリリースし、SDアルゴリズムの実用的な比較のための統一評価基準を確立する。
関連論文リスト
- DICS: Exploring Data Intrinsic Consistency for Visual Instruction Selection [53.457992197673185]
データ固有の一貫性(Data Intrinsic Consistency、DIC)は、サンプルレベルのコンポーネント間の一貫性を定量化するために設計された自己スコアの指標である。
DICSは、高いサンプル内一貫性とグローバルな分布多様性の間のトレードオフを最適化する適応データ選択手法である。
DIC-6Mは6Mサンプルのマルチモーダル命令コーパスであり、最大規模の視覚的命令選択学習を可能にする。
論文 参考訳（メタデータ） (2026-08-31T03:44:54Z) - SDDMO-Bench: A Benchmark Suite for Streaming Data-Driven Dynamic Multi-Objective Optimization [10.627368862090728]
本稿では,動的多目的テスト問題をストリーミング環境に変換するベンチマークスイートであるSDDMO-Benchを提案する。
5つの時間依存基底関数と6つの分布ドリフトパターンを組み合わせることで、SDDMO-Benchは30のシナリオを構成する。
代表的な進化的アルゴリズムを用いた実験は、SDDMO-Benchが挑戦的で差別的なテストシナリオを提供することを示した。
論文 参考訳（メタデータ） (2026-08-01T06:56:01Z) - Calibrated Speculative Decoding: Frequency-Guided Candidate Selection for Efficient Inference [27.59556627479635]
Calibrated Speculative Decodingは、標準検証によって破棄された有効なトークンを復元する。
Online Correction Memory は歴史的拒絶を集約し、繰り返し発散パターンを救助候補者として提案する。
Semantic Consistency Gatingは、正確なトークンマッチングの代わりに確率比を用いて候補許容性を検証する。
論文 参考訳（メタデータ） (2026-04-15T09:01:54Z) - SENSE: Semantic Embedding Navigation with Soft-gated Evaluation for Retrieval-based Speculative Decoding [6.448291801598507]
SD(Speculative Decoding)は、LLM(Large Language Model)推論を高速化する。
RSDはそのプラグ・アンド・プレイの汎用性に好まれるが、そのポテンシャルは厳密な語彙依存によって妨げられる。
SENSEはロバストなセマンティックアライメントを確立し、ソフトゲート評価モジュールにセマンティック等価性を検証する権限を与える。
論文 参考訳（メタデータ） (2026-04-14T04:17:03Z) - UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。
UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
論文 参考訳（メタデータ） (2026-03-24T13:01:31Z) - Explainable Semantic Textual Similarity via Dissimilar Span Detection [53.32175252285023]
テキストのペア間で意味的に異なるスパンを識別することを目的として,DSD(Dissimilar Span Detection)タスクを導入する。
これにより、ユーザーはどの特定の単語やトークンが類似度スコアに悪影響を及ぼすかを理解したり、STS依存のダウンストリームタスクのパフォーマンス向上に使用することができる。
論文 参考訳（メタデータ） (2026-03-22T11:32:31Z) - Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning [49.04912820721943]
Supervised Fine-tuning (SFT) は計算コストが高く、時にはオーバーフィットやバイアス増幅に悩まされる。
本研究は、トレーニングプロセス中にサンプルを動的にスコア付け、フィルタリングするオンラインバッチ選択ファミリについて研究する。
SFTにおける効率的なオンラインバッチ選択のためのフレームワークである textbfUDS (Utility-Diversity Sampling) を開発した。
論文 参考訳（メタデータ） (2025-10-19T15:32:01Z) - In-context Ranking Preference Optimization [65.5489745857577]
In-context Ranking Preference Optimization (IRPO) フレームワークを提案する。
IRPOは標準のDPO手法よりも高い性能を示し、LLMと直接文脈内ランキング設定の整合性を強調した。
論文 参考訳（メタデータ） (2025-04-21T23:06:12Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。
LLMの能力を評価するにはベンチマーク評価が不可欠である。
論文 参考訳（メタデータ） (2025-02-13T03:43:33Z) - Building Trust in Black-box Optimization: A Comprehensive Framework for Explainability [1.3812010983144802]
代理最適化(SO)は共通の解決法であるが、その独自性は説明可能性と透明性の欠如につながっている。
EmphInclusive Explainability Metrics for Surrogate Optimization (IEMSO)を提案する。
これらのメトリクスは、SOアプローチの透明性、信頼性、説明可能性を高める。
論文 参考訳（メタデータ） (2024-10-18T16:20:17Z) - A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。
軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。
本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
論文 参考訳（メタデータ） (2024-06-25T07:45:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。