論文の概要: Decoding Speculative Decoding

• arxiv url: http://arxiv.org/abs/2402.01528v2
• Date: Fri, 26 Apr 2024 04:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 17:28:28.590490
• Title: Decoding Speculative Decoding
• Title（参考訳）: 投機的復号化復号法
• Authors: Minghao Yan, Saurabh Agarwal, Shivaram Venkataraman,
• Abstract要約: 投機的復号化は、品質を犠牲にすることなく、大規模言語モデルの推論を高速化する技術である。 LLaMA-65BとOPT-66Bの350以上の実験を投機的復号法を用いて検討した。 新たに設計されたLLaMA-65Bのドラフトモデルは,既存のドラフトモデルよりも60%高いスループットを提供できる。
• 参考スコア（独自算出の注目度）: 4.56754610152086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative Decoding is a widely used technique to speed up inference for Large Language Models (LLMs) without sacrificing quality. When performing inference, speculative decoding uses a smaller draft model to generate speculative tokens and then uses the target LLM to verify those draft tokens. The speedup provided by speculative decoding heavily depends on the choice of the draft model. In this work, we perform a detailed study comprising over 350 experiments with LLaMA-65B and OPT-66B using speculative decoding and delineate the factors that affect the performance gain provided by speculative decoding. Our experiments indicate that the performance of speculative decoding depends heavily on the latency of the draft model, and the draft model's capability in language modeling does not correlate strongly with its performance in speculative decoding. Based on these insights we explore a new design space for draft models and design hardware-efficient draft models for speculative decoding. Our newly designed draft model for LLaMA-65B can provide 60% higher throughput than existing draft models and can generalize further to the LLaMA-2 model family and supervised fine-tuned models.
• Abstract（参考訳）: 投機的復号化(英: Speculative Decoding)とは、大規模言語モデル(LLM)の推論を、品質を犠牲にすることなく高速化する手法である。 推論を行う場合、投機的復号化は、より小さなドラフトモデルを使用して投機的トークンを生成し、ターゲットのLSMを使用してそれらの投機的トークンを検証する。 投機的復号化によって提供されるスピードアップは、ドラフトモデルの選択に大きく依存する。 本研究では,LLaMA-65B と OPT-66B を用いて350以上の実験を行い,投機的復号化による性能向上に影響を及ぼす要因を明らかにした。 提案実験により, 投機的復号化の性能は, 投機的復号化の遅延に大きく依存しており, 言語モデルにおけるドラフトモデルの性能は投機的復号化の性能と強く相関しないことがわかった。 これらの知見に基づいて、ドラフトモデルのための新しいデザインスペースと、投機的復号化のためのハードウェア効率の良いドラフトモデルについて検討する。 新たに設計されたLLaMA-65Bのドラフトモデルは、既存のドラフトモデルよりも60%高いスループットを提供し、LLaMA-2モデルファミリと教師付き微調整モデルにさらに一般化することができる。

関連論文リスト

• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• On Speculative Decoding for Multimodal Large Language Models [11.245862832561176]
  MLLM(Multimodal Large Language Models)による推論は,大規模な言語モデルのバックボーンのため遅い。 言語のみのモデルがLLaVA 7Bを用いて投機的復号化のための優れたドラフトモデルとして機能することを示す。
  論文  参考訳（メタデータ） (2024-04-13T00:02:36Z)
• Direct Alignment of Draft Model for Speculative Decoding with Chat-Fine-Tuned LLMs [11.245862832561176]
  投機的復号化による推論アクセラレーションを実現するためには、高品質なドラフトモデルをトレーニングする必要がある。 我々は、Llama 2 Chat Drafter 115M、Llama 2 Chat 7B以上のドラフトモデル、オリジナルサイズの1.64%しか持たないLlama 2 Chat Drafter 115Mを訓練する。 Llama 2 Chat Dr After 115M with speculative decoding は最大2.3ブロック効率と2.4$times$ speed-upを実現している。
  論文  参考訳（メタデータ） (2024-02-29T19:55:06Z)
• Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding [65.94521678103237]
  投機的復号化(英: Speculative decoding)は、大規模言語モデルの生成プロセスを加速する広く使われている手法である。 我々は,草案作成プロセスの並列化のために,草案文を生成するOuroborosを紹介した。 ウロボロは投機的復号化で最大2.4倍、バニラ復号化で3.9倍のスピードアップを達成できる。
  論文  参考訳（メタデータ） (2024-02-21T11:31:28Z)
• GliDe with a CaPE: A Low-Hassle Method to Accelerate Speculative Decoding [81.01996600734616]
  GliDe と CaPE を導入し,バニラ投機復号への2つの低ハードル修正を行った。 GliDeは、ターゲットのLLMからキャッシュされたキーと値を再利用する、修正されたドラフトモデルアーキテクチャである。 コード、データ、トレーニング済みのドラフトモデルをリリースします。
  論文  参考訳（メタデータ） (2024-02-03T08:44:11Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• DistillSpec: Improving Speculative Decoding via Knowledge Distillation [70.61777015900272]
  投機的復号(SD)は、複数のトークンを生成するためにより高速なドラフトモデルを使用することで、大きな言語モデル推論を加速する。 本稿では,SDを適用する前に,知識蒸留を用いて,ドラフトモデルとターゲットモデルとの整合性を向上するDistillSpecを提案する。 DistillSpecは標準SDよりも10～45%のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2023-10-12T16:21:04Z)
• Online Speculative Decoding [34.987825705622555]
  大規模言語モデルの推論を高速化するオンライン投機的復号法を導入する。 主なアイデアは、観測されたユーザクエリデータに対する(複数)ドラフトモデルを継続的に更新することである。 本稿では,知識蒸留に基づくオンライン投機的デコーディングのプロトタイプを開発し,合成データと実データの両方を用いて評価する。
  論文  参考訳（メタデータ） (2023-10-11T04:03:42Z)
• Contrastive Decoding Improves Reasoning in Large Language Models [55.16503283583076]
  コントラストデコーディングは,様々な推論タスクにおいて,グリージーデコーディングよりもアウト・オブ・ボックスの大幅な改善を実現することを示す。 本稿では,LLaMA-65BがHellaSwag Commonsense reasoning benchmark上でLLaMA 2, GPT-3.5, PaLM 2-Lより優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-17T00:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。