論文の概要: CacheGen: Fast Context Loading for Language Model Applications via KV
Cache Streaming
- arxiv url: http://arxiv.org/abs/2310.07240v2
- Date: Wed, 13 Mar 2024 05:55:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 18:27:58.687560
- Title: CacheGen: Fast Context Loading for Language Model Applications via KV
Cache Streaming
- Title(参考訳): CacheGen:KVによる言語モデルアプリケーションの高速コンテキストローディング
キャッシュストリーミング
- Authors: Yuhan Liu, Hanchen Li, Yihua Cheng, Siddhant Ray, Yuyang Huang,
Qizheng Zhang, Kuntai Du, Jiayi Yao, Shan Lu, Ganesh Ananthanarayanan,
Michael Maire, Henry Hoffmann, Ari Holtzman, Junchen Jiang
- Abstract要約: CacheGenは、大きな言語モデル(LLM)のための高速なコンテキストローディングモジュールである
KVキャッシュを符号化/復号のオーバーヘッドを無視して、よりコンパクトなビットストリーム表現にエンコードする。
ストリーミング戦略を適用して、利用可能な帯域幅の変化に対処する。
- 参考スコア(独自算出の注目度): 32.47797063620753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models (LLMs) take on complex tasks, their inputs are
supplemented with longer contexts that incorporate domain knowledge or
user-specific information. Yet using long contexts poses a challenge for
responsive LLM systems, as nothing can be generated until the whole context is
processed by the LLM. While the context-processing delay can be reduced by
reusing the KV cache of a context across different inputs, fetching the KV
cache, which contains large tensors, over the network can cause extra network
delays.
CacheGen is a fast context-loading module for LLM systems. First, CacheGen
uses a custom tensor encoder, which embraces KV cache's distributional
properties, to encode a KV cache into more compact bitstream representations
with negligible encoding/decoding overhead. This reduces the bandwidth demand
to fetch the KV cache. Second, to maintain low context-loading delay and high
generation quality, CacheGen adapts the streaming strategies to cope with
changes in available bandwidth. When available bandwidth drops, CacheGen may
raise the compression level for a part of the context or choose to recompute
its KV cache on the fly. We test CacheGen on four popular LLMs of various sizes
and four datasets (662 contexts in total). Compared to the recent systems that
reuse the KV cache, CacheGen reduces the KV cache size by 3.7-4.3x and the
total delay in fetching and processing contexts by 2.7-3.2x while having
negligible impact on the LLM response quality in accuracy or perplexity.
- Abstract(参考訳): 大規模言語モデル(LLM)が複雑なタスクをこなすにつれて、その入力はドメイン知識やユーザ固有の情報を含む長いコンテキストで補完される。
しかし、長いコンテキストを使うことは、LLMが処理するまで何も生成できないため、応答性のあるLLMシステムにとって課題となる。
異なる入力間でコンテキストのKVキャッシュを再利用することで、コンテキスト処理の遅延を低減することができるが、ネットワーク上の大きなテンソルを含むKVキャッシュを取得すると、ネットワーク上の追加の遅延が発生する可能性がある。
CacheGenは、LLMシステムのための高速なコンテキストローディングモジュールである。
まず、CacheGenはKVキャッシュの分散プロパティを取り入れた独自のテンソルエンコーダを使用して、KVキャッシュをよりコンパクトなビットストリーム表現にエンコードする。
これにより、KVキャッシュを取得するための帯域幅の需要が減少する。
第二に、低コンテキストローディング遅延と高ジェネレーション品質を維持するために、CacheGenはストリーミング戦略を適用して、利用可能な帯域幅の変化に対処する。
利用可能な帯域幅が減少すると、CacheGenはコンテキストの一部の圧縮レベルを上げるか、KVキャッシュをオンザフライで再計算するかを選択する。
CacheGenは、さまざまなサイズの4つの人気のあるLLMと4つのデータセット(合計662のコンテキスト)でテストします。
KVキャッシュを再利用した最近のシステムと比較すると、CacheGenはKVキャッシュのサイズを3.7-4.3xに減らし、フェッチと処理の合計遅延を2.7-3.2xに減らした。
関連論文リスト
- Sequence can Secretly Tell You What to Discard [57.109354287786154]
メモリフットプリントを大幅に削減するKVキャッシュを最適化するための新しい手法を提案する。
我々は,KVキャッシュの消去ポリシーであるCORMを提案し,モデルに微調整を加えることなく,推論のためのキーと値のペアを動的に保持する。
CORMは、LongBenchの6つのタスクで顕著なパフォーマンス劣化を伴わずに、KVキャッシュの推論メモリ使用量を最大70%削減する。
論文 参考訳(メタデータ) (2024-04-24T16:11:54Z) - XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference [20.249206904309816]
インコンテキスト学習(ICL)アプローチは典型的には、参照情報に基づいて条件デコーダのみの言語モデルを生成するプロンプトを活用する。
この研究は、エンコーダ・デコーダアーキテクチャにインスパイアされたモデルを導入し、プロンプトなしで参照テキストの条件生成にクロスアテンションを使用することにより、これらの制限に対処する。
質問応答(QA)をテストベッドとして使用し、条件生成能力を評価し、ICLより優れており、微調整された誘導LDMと同等であり、標準KVキャッシュと比較して空間フットプリントを2桁の精度で大幅に削減する。
論文 参考訳(メタデータ) (2024-04-23T18:10:42Z) - QAQ: Quality Adaptive Quantization for LLM KV Cache [3.163526369095745]
モデルデプロイメントのボトルネックは、コンテキスト長のキーバリューキャッシュの線形拡張によって生じる。
KVキャッシュのための品質適応量子化スキームQAQを提案する。
論文 参考訳(メタデータ) (2024-03-07T16:42:37Z) - Get More with LESS: Synthesizing Recurrence with KV Cache Compression
for Efficient LLM Inference [83.34219335496073]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:54:56Z) - SubGen: Token Generation in Sublinear Time and Memory [48.35076900702408]
大規模言語モデル(LLM)はトークン生成に広範なメモリ要件を持つ。
本研究では,KVキャッシュの効率的な圧縮手法の開発に焦点をあてる。
我々は,キートークンにオンラインクラスタリングを導入し,値に$ell$をサンプリングする,サブ線形複雑性を持つ新しいキャッシング手法を考案した。
このアルゴリズムは、サブリニアメモリフットプリントとサブリニアタイムの複雑さを保証するだけでなく、我々のアプローチに厳密なエラーを課す。
論文 参考訳(メタデータ) (2024-02-08T22:17:40Z) - KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [70.90551156819498]
大規模言語モデル(LLM)は、要求毎のコストを削減するために、多くのリクエストを一緒に要求する。
キー値(KV)キャッシュはメモリ要求を大幅に増加させ、スピードとメモリ使用における新たなボトルネックとなる。
KVキャッシュサイズを減らすための単純で効果的な解決策は量子化であり、KVキャッシュが取る全バイトを削減する。
KIVIは、Llama (Llama-2)、Falcon、Mistralモデルとほぼ同じ品質を維持しながら、$mathbf2.6times$のピークメモリ使用量を減らすことができる。
論文 参考訳(メタデータ) (2024-02-05T06:06:47Z) - Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [86.98304577162465]
大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。
我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。
認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
論文 参考訳(メタデータ) (2023-10-03T05:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。