論文の概要: SwiftKV: Fast Prefill-Optimized Inference with Knowledge-Preserving Model Transformation
- arxiv url: http://arxiv.org/abs/2410.03960v1
- Date: Fri, 4 Oct 2024 22:45:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 15:10:07.493110
- Title: SwiftKV: Fast Prefill-Optimized Inference with Knowledge-Preserving Model Transformation
- Title（参考訳）: SwiftKV:知識保存モデル変換による高速プリフィル最適化推論
- Authors: Aurick Qiao, Zhewei Yao, Samyam Rajbhandari, Yuxiong He,
- Abstract要約: 本稿では,プロンプトトークン処理の時間とコストを削減するために特別に設計されたモデル変換・蒸留手法であるSwiftKVを提案する。
Llama-3.1-8Bと70Bでは、SwiftKVはプリフィルの計算要求を50%削減し、KVキャッシュのメモリ要求を62.5%削減した。
16ビット精度でLlama-3.1-70Bの16Kトークン/sに変換する通常の推論スループットの560 TFlops/GPUを実現することができる。
- 参考スコア（独自算出の注目度）: 32.62031120968721
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM inference for popular enterprise use cases, such as summarization, RAG, and code-generation, typically observes orders of magnitude longer prompt lengths than generation lengths. This characteristic leads to high cost of prefill and increased response latency. In this paper, we present SwiftKV, a novel model transformation and distillation procedure specifically designed to reduce the time and cost of processing prompt tokens while preserving high quality of generated tokens. SwiftKV combines three key mechanisms: i) SingleInputKV, which prefills later layers' KV cache using a much earlier layer's output, allowing prompt tokens to skip much of the model computation, ii) AcrossKV, which merges the KV caches of neighboring layers to reduce the memory footprint and support larger batch size for higher throughput, and iii) a knowledge-preserving distillation procedure that can adapt existing LLMs for SwiftKV with minimal accuracy impact and low compute and data requirement. For Llama-3.1-8B and 70B, SwiftKV reduces the compute requirement of prefill by 50% and the memory requirement of the KV cache by 62.5% while incurring minimum quality degradation across a wide range of tasks. In the end-to-end inference serving using an optimized vLLM implementation, SwiftKV realizes up to 2x higher aggregate throughput and 60% lower time per output token. It can achieve a staggering 560 TFlops/GPU of normalized inference throughput, which translates to 16K tokens/s for Llama-3.1-70B in 16-bit precision on 4x H100 GPUs.
- Abstract（参考訳）: LLM推論は、要約、RAG、コードジェネレーションなどの一般的なエンタープライズユースケースにおいて、通常、世代長よりも桁長のプロンプト長を観測する。
この特性により、プリフィルのコストが高くなり、応答遅延が増加する。
本稿では,生成トークンの品質を保ちながら,プロンプトトークン処理の時間とコストを削減することを目的とした,新しいモデル変換・蒸留手法であるSwiftKVを提案する。
SwiftKVは3つの重要なメカニズムを組み合わせたものだ。
i)SingleInputKVは、ずっと前のレイヤの出力を使用して、後のレイヤのKVキャッシュをプリフィルし、プロンプトトークンがモデル計算の多くをスキップできるようにする。
二 隣接するレイヤのKVキャッシュをマージしてメモリフットプリントを削減し、より高いスループットのためにより大きなバッチサイズをサポートするAcrossKV
三 既存のLLMをSwiftKVに適用し、最小限の精度で、計算量及びデータ要件を低くすることができる知識保存蒸留方法。
Llama-3.1-8Bと70Bでは、SwiftKVはプリフィルの計算要求を50%削減し、KVキャッシュのメモリ要求を62.5%削減した。
最適化されたvLLM実装を使用したエンドツーエンドの推論では、SwiftKVは最大2倍の集約スループットと出力トークンあたりの60%の時間短縮を実現している。
4x H100 GPUの16ビット精度で、Llama-3.1-70Bの16Kトークン/sに変換される正規化推論スループットの560 TFlops/GPUを実現することができる。
関連論文リスト
- ShadowKV: KV Cache in Shadows for High-Throughput Long-Context LLM Inference [25.638980944695728]
ShadowKVは、LLM(Long-Context Large Language Model)推論システムである。
低ランクのキーキャッシュを格納し、バリューキャッシュをオフロードすることで、より大きなバッチサイズと長いシーケンスのためにメモリフットプリントを削減する。
最大6$times$大きなバッチサイズをサポートし、A100 GPUで最大3.04$times$までスループットを向上できる。
論文 参考訳（メタデータ） (2024-10-28T19:08:12Z) - ZipVL: Efficient Large Vision-Language Models with Dynamic Token Sparsification and KV Cache Compression [29.163757099307553]
大型視覚言語モデル(LVLM)のための効率的な推論フレームワークZipVLを提案する。
ZipVLは重要なトークンの動的比割り当て戦略によって計算とメモリのボトルネックを解消する。
実験によると、ZipVLはプリフィルフェーズを2.6$times$で加速し、GPUメモリ使用量を50.0%削減できる。
論文 参考訳（メタデータ） (2024-10-11T07:24:21Z) - ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。
本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。
我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文 参考訳（メタデータ） (2024-07-30T17:59:08Z) - Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。
本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
論文 参考訳（メタデータ） (2024-06-24T03:59:17Z) - LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。
LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
論文 参考訳（メタデータ） (2024-06-08T01:35:11Z) - MiniCache: KV Cache Compression in Depth Dimension for Large Language Models [48.03117580340151]
キーバリュー(KV)キャッシュは、以前に生成されたトークンのキー値状態を格納する。
KVキャッシュのサイズはシーケンス長とともに線形に増加し、長いコンテキスト入力と広範囲なシーケンス生成を必要とするアプリケーションの課題を提起する。
レイヤ間のKVキャッシュを,新しい奥行きの観点から圧縮する,MiniCacheという,シンプルで効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-23T09:43:52Z) - SKVQ: Sliding-window Key and Value Cache Quantization for Large Language Models [43.22490117833939]
SKVQはスライディングウインドウKVキャッシュ量子化の略である。
SKVQは、量子化グループにおけるチャネルの類似性を改善するために、KVキャッシュのチャネルを再構成する。
7bモデルで80GBのメモリGPU上で最大1Mのコンテキスト長を処理でき、最大7倍高速な復号を行うことができる。
論文 参考訳（メタデータ） (2024-05-10T03:06:24Z) - SnapKV: LLM Knows What You are Looking for Before Generation [22.138577426977907]
SnapKVは、キーバリューキャッシュサイズを効率的に最小化する、微調整不要のアプローチである。
現実世界のアプリケーションで同等のパフォーマンスを提供する。
さらなる研究は、SnapKVの実用的な応用の可能性を示している。
論文 参考訳（メタデータ） (2024-04-22T17:42:58Z) - KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。
KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
論文 参考訳（メタデータ） (2024-02-05T06:06:47Z) - KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。
量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。
我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
論文 参考訳（メタデータ） (2024-01-31T18:58:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。