論文の概要: Speeding up Speculative Decoding via Approximate Verification

• arxiv url: http://arxiv.org/abs/2502.04557v1
• Date: Thu, 06 Feb 2025 23:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:55:09.367182
• Title: Speeding up Speculative Decoding via Approximate Verification
• Title（参考訳）: 近似検証による投機的復号化の高速化
• Authors: Meiyu Zhong, Noel Teku, Ravi Tandon,
• Abstract要約: 投機的復号法 (SD) はLarge Language Models (LLM) を用いた高速推論手法である。 本稿では,SPRINTERを提案する。SPRINTERは,LLMから生成されたトークンが目標のLLMに受け入れられるかどうかを予測するために訓練された,低複雑さの検証器である。 本稿では,SPRINTERの理論解析を行い,生成したトークンの統計的特性と遅延の低減について検討する。
• 参考スコア（独自算出の注目度）: 7.754712828900729
• License:
• Abstract: Speculative Decoding (SD) is a recently proposed technique for faster inference using Large Language Models (LLMs). SD operates by using a smaller draft LLM for autoregressively generating a sequence of tokens and a larger target LLM for parallel verification to ensure statistical consistency. However, periodic parallel calls to the target LLM for verification prevent SD from achieving even lower latencies. We propose SPRINTER, which utilizes a low-complexity verifier trained to predict if tokens generated from a draft LLM would be accepted by the target LLM. By performing approximate sequential verification, SPRINTER does not require verification by the target LLM and is only invoked when a token is deemed unacceptable. This leads to reducing the number of calls to the larger LLM and can achieve further speedups. We present a theoretical analysis of SPRINTER, examining the statistical properties of the generated tokens, as well as the expected reduction in latency as a function of the verifier. We evaluate SPRINTER on several datasets and model pairs, demonstrating that approximate verification can still maintain high quality generation while further reducing latency. For instance, on Wiki-Summaries dataset, SPRINTER achieves a 1.7x latency speedup and requires 8.3x fewer flops relative to SD, while still generating high-quality responses when using GPT2-Small and GPT2-XL as draft/target models.
• Abstract（参考訳）: 投機的復号法(SD: Speculative Decoding)は,Large Language Models (LLMs) を用いた高速推論手法である。 SD はより小さなドラフト LLM を用いてトークン列を自動回帰的に生成し、より大きな目標 LLM を用いて並列検証を行い、統計的整合性を確保する。 しかし、検証のための目標LSMへの周期的な並列呼び出しは、SDがさらに低いレイテンシを達成するのを防ぐ。 本稿では,SPRINTERを提案する。SPRINTERは,LLMから生成されたトークンが目標のLLMに受け入れられるかどうかを予測するために訓練された,低複雑さの検証器である。 近似的なシーケンシャルな検証を行うことで、SPRINTERはターゲットのLSMによる検証を必要とせず、トークンが受け入れられないと判断された場合にのみ呼び出される。 これにより、より大きなLLMへの呼び出し数を減らし、さらなるスピードアップを達成することができる。 本稿では,SPRINTERの理論解析を行い,生成したトークンの統計的特性と,検証器の関数としての遅延の低減について検討する。 我々はSPRINTERを複数のデータセットとモデルペアで評価し、近似検証が高品質な生成を維持しつつ、さらにレイテンシを低減できることを実証した。 例えば、Wiki-Summariesデータセットでは、SPRINTERは1.7倍のレイテンシのスピードアップを実現し、SDと比較して8.3倍のフロップを必要とするが、ドラフト/ターゲットモデルとしてGPT2-SmallとGPT2-XLを使用する場合、高品質なレスポンスを生成する。

関連論文リスト

• Delayed Fusion: Integrating Large Language Models into First-Pass Decoding in End-to-end Speech Recognition [17.376550014426623]
  本稿では,大規模言語モデル(LLM)を用いたエンドツーエンド自動音声認識(E2E-ASR)の効率的な復号化手法を提案する。 復号時に遅延を伴うASR仮説にLLMスコアを適用する「遅延融合」を提案する。 遅延核融合により、浅い核融合やN-best再コーディングに比べてデコード速度と精度が向上することを示した。
  論文  参考訳（メタデータ） (2025-01-16T03:01:50Z)
• Real-time Verification and Refinement of Language Model Text Generation [60.04718679054704]
  大規模言語モデル(LLM)は、幅広い自然言語タスクにおいて顕著な性能を示している。 重要な課題は、時に事実的に誤った答えを生じさせることである。 本稿では,LLM出力の検証と改善の効率化を目的とした新しい手法であるStreaming-VRを提案する。
  論文  参考訳（メタデータ） (2025-01-14T03:59:48Z)
• SpecHub: Provable Acceleration to Multi-Draft Speculative Decoding [28.76164449548306]
  MDSD(Multi-Draft Speculative Decoding)は、より小さなドラフトモデルを用いて複数のトークンシーケンスを生成することで、有望なソリューションを提供する。 線形計算オーバーヘッドのみで受け入れ率を向上するMDSDの新しい,効率的なサンプリング検証手法であるSpecHubを提案する。
  論文  参考訳（メタデータ） (2024-11-08T02:47:07Z)
• SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration [10.970637831760136]
  投機的復号法(SD)は,大規模言語モデル(LLM)の推論を高速化するパラダイムとして広く用いられている。 本稿では,LLMの中間層を適応的に選択して推論時にスキップする,オンザフライの自己投機的復号アルゴリズムであるSWIFTを紹介する。 SWIFTは生成したテキストの元の分布を保ちながら1.3x-1.6xの高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-09T14:15:30Z)
• Efficient Inference for Large Language Model-based Generative Recommendation [78.38878421030522]
  LLM(Large Language Model)ベースの生成レコメンデーションは目覚ましい成功を収めた。 ジェネレーティブレコメンデーションにSD(Speculative Decoding)を適用すると、トップKアイテムを生成する必要があるため、ユニークな課題が提示される。 我々は,厳密なトップK検証の下でトップKアライメントを最適化する AtSpeed-S というアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-07T16:23:36Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• Generation Meets Verification: Accelerating Large Language Model Inference with Smart Parallel Auto-Correct Decoding [11.832919020149891]
  本研究の目的は,数十億のパラメータを持つ大規模言語モデル(LLM)の推論速度を高速化することである。 textbfSmart textbfParallel textbfAuto-textbfCorrect dtextbfEcoding (SPACE)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T03:39:10Z)
• GliDe with a CaPE: A Low-Hassle Method to Accelerate Speculative Decoding [81.01996600734616]
  GliDe と CaPE を導入し,バニラ投機復号への2つの低ハードル修正を行った。 GliDeは、ターゲットのLLMからキャッシュされたキーと値を再利用する、修正されたドラフトモデルアーキテクチャである。 コード、データ、トレーニング済みのドラフトモデルをリリースします。
  論文  参考訳（メタデータ） (2024-02-03T08:44:11Z)
• Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
  LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
  論文  参考訳（メタデータ） (2023-04-10T09:55:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。