論文の概要: Dynamic-Width Speculative Beam Decoding for Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2409.16560v1
• Date: Wed, 25 Sep 2024 02:20:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 05:55:22.578773
• Title: Dynamic-Width Speculative Beam Decoding for Efficient LLM Inference
• Title（参考訳）: 効率的なLDM推論のための動的幅投機ビーム復号法
• Authors: Zongyue Qin, Zifan He, Neha Prakriya, Jason Cong, Yizhou Sun,
• Abstract要約: 大規模言語モデル(LLM)は多くの実世界のタスクで優れたパフォーマンスを示している。 投機的復号化は有望な解決策として現れ、より小さな補助モデルを利用して将来のトークンをドラフトしている。 本稿では,ビームサンプリングによる投機的復号化の新たな統合について検討する。
• 参考スコア（独自算出の注目度）: 35.730941605490194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown outstanding performance across numerous real-world tasks. However, the autoregressive nature of these models makes the inference process slow and costly. Speculative decoding has emerged as a promising solution, leveraging a smaller auxiliary model to draft future tokens, which are then validated simultaneously by the larger model, achieving a speed-up of 1-2x. Although speculative decoding matches the same distribution as multinomial sampling, multinomial sampling itself is prone to suboptimal outputs, whereas beam sampling is widely recognized for producing higher-quality results by maintaining multiple candidate sequences at each step. This paper explores the novel integration of speculative decoding with beam sampling. However, there are four key challenges: (1) how to generate multiple sequences from the larger model's distribution given drafts sequences from the small model; (2) how to dynamically optimize the number of beams to balance efficiency and accuracy; (3) how to efficiently verify the multiple drafts in parallel; and (4) how to address the extra memory costs inherent in beam sampling. To address these challenges, we propose dynamic-width speculative beam decoding (DSBD). Specifically, we first introduce a novel draft and verification scheme that generates multiple sequences following the large model's distribution based on beam sampling trajectories from the small model. Then, we introduce an adaptive mechanism to dynamically tune the number of beams based on the context, optimizing efficiency and effectiveness. Besides, we extend tree-based parallel verification to handle multiple trees simultaneously, accelerating the verification process. Finally, we illustrate a simple modification to our algorithm to mitigate the memory overhead of beam sampling...
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの実世界のタスクで優れたパフォーマンスを示している。 しかし、これらのモデルの自己回帰的な性質は推論プロセスを遅く、コストがかかる。 投機的復号化は有望な解として現れ、より小さな補助モデルを利用して将来のトークンをドラフトし、より大きなモデルで同時に検証し、1-2倍のスピードアップを達成する。 投機的復号化は多項サンプリングと同じ分布に一致するが、多項サンプリング自体が準最適出力の傾向にあるのに対し、ビームサンプリングは各ステップで複数の候補シーケンスを維持することで高品質な結果を生成するために広く認識されている。 本稿では,ビームサンプリングによる投機的復号化の新たな統合について検討する。 しかし、4つの課題がある:(1)より大きなモデルの分布から与えられた小さなモデルから複数の配列を生成する方法、(2)効率と精度のバランスをとるためにビームの数を動的に最適化する方法、(3)複数のドラフトを並列に効率よく検証する方法、(4)ビームサンプリングに固有の余分なメモリコストにどのように対処するか。 これらの課題に対処するために、動的幅投機ビーム復号法(DSBD)を提案する。 具体的には、まず、小型モデルからのビームサンプリング軌跡に基づいて、大規模モデルの分布に従って複数のシーケンスを生成する新しいドラフトと検証手法を提案する。 そこで,本研究では,状況に応じて動的にビーム数を調整し,効率と効率を最適化する適応機構を提案する。 さらに,複数の木を同時に扱うために,木に基づく並列検証を拡張し,検証プロセスを高速化する。 最後に、ビームサンプリングのメモリオーバーヘッドを軽減するため、我々のアルゴリズムに簡単な修正を施す。

関連論文リスト

• Quasi-random Multi-Sample Inference for Large Language Models [1.647759094903376]
  大規模言語モデル(LLM)は、しばしばマルチサンプルデコード戦略を備えている。 ビームサーチやサンプリングベース技術のような従来のテキスト生成手法には、顕著な制限がある。 本研究では,算術的サンプリングの可能性について検討し,祖先的サンプリングと対比する。
  論文  参考訳（メタデータ） (2024-11-09T18:55:04Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Accelerating Large Language Model Decoding with Speculative Sampling [9.851546623666588]
  投機的サンプリング(英: Speculative sample)とは、変換器の呼び出し毎に複数のトークンを生成することで、変換器の復号を高速化するアルゴリズムである。 我々は、70億のパラメータ言語モデルであるChinchillaを用いて投機的サンプリングをベンチマークし、分散セットアップで2-2.5倍のデコード速度を達成する。
  論文  参考訳（メタデータ） (2023-02-02T18:44:11Z)
• Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
  ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。 本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T22:19:41Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。