論文の概要: Recurrent Drafter for Fast Speculative Decoding in Large Language Models

• arxiv url: http://arxiv.org/abs/2403.09919v3
• Date: Thu, 30 May 2024 17:55:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 20:44:52.578602
• Title: Recurrent Drafter for Fast Speculative Decoding in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける高速投機復号化のための逐次描画法
• Authors: Aonan Zhang, Chong Wang, Yi Wang, Xuanyu Zhang, Yunfei Cheng,
• Abstract要約: 本稿では,大規模言語モデルの提供効率向上を目的とした投機的復号化手法を提案する。 我々は、古典的な2モデル投機的復号法と、より最近のシングルモデルアプローチであるMedusaという2つの確立された手法の長所を生かしている。 提案手法がいくつかのポピュラーなオープンソース言語モデルに対して有効であることを実証的に示すとともに,このアプローチの適用に関わるトレードオフを包括的に分析する。
• 参考スコア（独自算出の注目度）: 18.342742904042673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce an improved approach of speculative decoding aimed at enhancing the efficiency of serving large language models. Our method capitalizes on the strengths of two established techniques: the classic two-model speculative decoding approach, and the more recent single-model approach, Medusa. Drawing inspiration from Medusa, our approach adopts a single-model strategy for speculative decoding. However, our method distinguishes itself by employing a single, lightweight draft head with a recurrent dependency design, akin in essence to the small, draft model uses in classic speculative decoding, but without the complexities of the full transformer architecture. And because of the recurrent dependency, we can use beam search to swiftly filter out undesired candidates with the draft head. The outcome is a method that combines the simplicity of single-model design and avoids the need to create a data-dependent tree attention structure only for inference in Medusa. We empirically demonstrate the effectiveness of the proposed method on several popular open source language models, along with a comprehensive analysis of the trade-offs involved in adopting this approach.
• Abstract（参考訳）: 本稿では,大規模言語モデルの提供効率向上を目的とした投機的復号法の改良手法を提案する。 提案手法は,古典的2モデル投機的復号法と,より最近の単一モデル法であるMedusaという2つの確立された手法の長所を生かしている。 Medusaからインスピレーションを得た私たちのアプローチでは、投機的復号化のための単一モデル戦略を採用しています。 しかし,本手法は,従来の投機的復号法で使用される小型のドラフトモデルと本質的に類似しているが,完全なトランスフォーマーアーキテクチャの複雑さは伴わない。 そして、繰り返し発生する依存関係のため、ビームサーチを使用して、望ましくない候補をドラフトヘッドで素早くフィルタリングすることができる。 その結果、単一モデル設計の単純さを組み合わせ、Medusaの推論にのみデータ依存のツリーアテンション構造を作成する必要がなくなる。 提案手法がいくつかのポピュラーなオープンソース言語モデルに対して有効であることを実証的に示すとともに,このアプローチの適用に関わるトレードオフを包括的に分析する。

関連論文リスト

• MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention [36.49445805074941]
  Minference (Milliontokens Inference) は長周期処理の前処理を高速化するスパース計算法である。 我々は,MInferenceが精度を維持しつつ,A100にプリフィルする際の推論遅延を最大10倍に効果的に低減できることを実証した。
  論文  参考訳（メタデータ） (2024-07-02T17:59:56Z)
• S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs [7.816840847892339]
  投機的復号法(SD)は、LLM推論で実現可能な相当な高速化のために、かなりの量の研究の注目を集めている。 本研究では,Skippy Simultaneous Speculative Decoding (S3D)を提案する。 提案手法は,最小限のアーキテクチャ変更とデータトレーニングを必要としながら,最高のパフォーマンス・メモリ比の1つを達成した。
  論文  参考訳（メタデータ） (2024-05-30T17:54:35Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Large Batch Simulation for Deep Reinforcement Learning [101.01408262583378]
  我々は,視覚複雑な3次元環境における深層強化学習に基づく学習を,事前作業よりも2桁高速化する。 単一のGPUマシンで1秒間に19,000フレーム以上の経験と最大72,000フレーム/秒のエンドツーエンドのトレーニング速度を実現します。 バッチシミュレーションと性能最適化を組み合わせることで、1つのGPU上の複雑な3D環境において、従来の最先端システムでトレーニングされたエージェントの精度の97%から97%まで、ポイントナビゲーションエージェントをトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2021-03-12T00:22:50Z)
• Applying GPGPU to Recurrent Neural Network Language Model based Fast Network Search in the Real-Time LVCSR [5.0555627833288]
  リカレントニューラルネットワーク言語モデル (RNNLM) は音声認識の様々な分野で使われ始めている。 RNNLMの計算複雑性は、RNNLMをリアルタイムな大語彙連続音声認識に適用する上でハードルとなっている。
  論文  参考訳（メタデータ） (2020-07-23T05:15:14Z)
• A Real-time Action Representation with Temporal Encoding and Deep Compression [115.3739774920845]
  動作表現のための時間畳み込み3Dネットワーク(T-C3D)と呼ばれる新しいリアルタイム畳み込みアーキテクチャを提案する。 T-C3Dは、高プロセス速度を得ながら、階層的な多粒度でビデオアクション表現を学習する。 提案手法は,5MB未満のストレージモデルを用いて,提案手法の精度5.4%,推論速度2倍の高速化を実現した。
  論文  参考訳（メタデータ） (2020-06-17T06:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。