論文の概要: CacheGen: Fast Context Loading for Language Model Applications
- arxiv url: http://arxiv.org/abs/2310.07240v1
- Date: Wed, 11 Oct 2023 07:08:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 02:32:25.555075
- Title: CacheGen: Fast Context Loading for Language Model Applications
- Title(参考訳): CacheGen: 言語モデルアプリケーションのための高速なコンテキストローディング
- Authors: Yuhan Liu, Hanchen Li, Kuntai Du, Jiayi Yao, Yihua Cheng, Yuyang
Huang, Shan Lu, Michael Maire, Henry Hoffmann, Ari Holtzman, Ganesh
Ananthanarayanan, Junchen Jiang
- Abstract要約: CacheGenは、新しいエンコーダを通じて、長いコンテキストのキー値の機能を送信するのに必要な帯域幅を削減する。
CacheGenは、帯域幅を3.7-4.3x削減し、フェッチと処理の合計遅延を2.7-3x削減する。
長いコンテキストを扱う最近の方法と比較して、CacheGenは帯域幅を3.7-4.3倍に減らし、フェッチと処理の合計遅延を2.7-3倍に減らした。
- 参考スコア(独自算出の注目度): 34.16584746176275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models (LLMs) take on more complex tasks, their inputs
incorporate longer contexts to respond to questions that require domain
knowledge or user-specific conversational histories. Yet, using long contexts
poses a challenge for responsive LLM systems, as nothing can be generated until
all the contexts are fetched to and processed by the LLM. Existing systems
optimize only the computation delay in context processing (e.g., by caching
intermediate key-value features of the text context) but often cause longer
network delays in context fetching (e.g., key-value features consume orders of
magnitude larger bandwidth than the text context).
This paper presents CacheGen to minimize the delays in fetching and
processing contexts for LLMs. CacheGen reduces the bandwidth needed for
transmitting long contexts' key-value (KV) features through a novel encoder
that compresses KV features into more compact bitstream representations. The
encoder combines adaptive quantization with a tailored arithmetic coder, taking
advantage of the KV features' distributional properties, such as locality
across tokens. Furthermore, CacheGen minimizes the total delay in fetching and
processing a context by using a controller that determines when to load the
context as compressed KV features or raw text and picks the appropriate
compression level if loaded as KV features. We test CacheGen on three models of
various sizes and three datasets of different context lengths. Compared to
recent methods that handle long contexts, CacheGen reduces bandwidth usage by
3.7-4.3x and the total delay in fetching and processing contexts by 2.7-3x
while maintaining similar LLM performance on various tasks as loading the text
contexts.
- Abstract(参考訳): 大きな言語モデル(LLM)がより複雑なタスクをこなすにつれて、その入力はドメイン知識やユーザ固有の会話履歴を必要とする質問に応答するために長いコンテキストを組み込む。
しかし、長いコンテキストを使用すると、全てのコンテキストがLLMにフェッチされ処理されるまで何も生成できないため、応答性のあるLLMシステムにとって課題となる。
既存のシステムは、コンテキスト処理の計算遅延のみを最適化する(例えば、テキストコンテキストの中間のキー値特徴をキャッシュする)が、しばしばコンテキストフェッチのネットワーク遅延(例えば、キー値特徴がテキストコンテキストよりも桁違いに大きな帯域幅を消費する)を引き起こす。
本稿では,LLMのフェッチと処理の遅延を最小限に抑えるためにCacheGenを提案する。
CacheGenは、KV機能をよりコンパクトなビットストリーム表現に圧縮する新しいエンコーダを通じて、長いコンテキストのキー値(KV)機能を送信するのに必要な帯域幅を削減する。
エンコーダは適応量子化と調整された算術コーダを組み合わせて、トークン間の局所性のようなKV特徴の分布特性を利用する。
さらに、CacheGenは、圧縮KV機能または生テキストとしてコンテキストをいつロードするかを決定するコントローラを使用して、コンテキストのフェッチと処理の全体的な遅延を最小化し、KV機能としてロードされた場合、適切な圧縮レベルを選択する。
さまざまなサイズの3つのモデルと異なるコンテキスト長の3つのデータセットでCacheGenをテストする。
長いコンテキストを扱う最近の手法と比較して、CacheGenは帯域幅を3.7-4.3xに減らし、フェッチと処理の合計遅延を2.7-3xに減らした。
関連論文リスト
- Sequence can Secretly Tell You What to Discard [57.109354287786154]
メモリフットプリントを大幅に削減するKVキャッシュを最適化するための新しい手法を提案する。
我々は,KVキャッシュの消去ポリシーであるCORMを提案し,モデルに微調整を加えることなく,推論のためのキーと値のペアを動的に保持する。
CORMは、LongBenchの6つのタスクで顕著なパフォーマンス劣化を伴わずに、KVキャッシュの推論メモリ使用量を最大70%削減する。
論文 参考訳(メタデータ) (2024-04-24T16:11:54Z) - XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference [20.249206904309816]
インコンテキスト学習(ICL)アプローチは典型的には、参照情報に基づいて条件デコーダのみの言語モデルを生成するプロンプトを活用する。
この研究は、エンコーダ・デコーダアーキテクチャにインスパイアされたモデルを導入し、プロンプトなしで参照テキストの条件生成にクロスアテンションを使用することにより、これらの制限に対処する。
質問応答(QA)をテストベッドとして使用し、条件生成能力を評価し、ICLより優れており、微調整された誘導LDMと同等であり、標準KVキャッシュと比較して空間フットプリントを2桁の精度で大幅に削減する。
論文 参考訳(メタデータ) (2024-04-23T18:10:42Z) - QAQ: Quality Adaptive Quantization for LLM KV Cache [3.163526369095745]
モデルデプロイメントのボトルネックは、コンテキスト長のキーバリューキャッシュの線形拡張によって生じる。
KVキャッシュのための品質適応量子化スキームQAQを提案する。
論文 参考訳(メタデータ) (2024-03-07T16:42:37Z) - Get More with LESS: Synthesizing Recurrence with KV Cache Compression
for Efficient LLM Inference [83.34219335496073]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:54:56Z) - SubGen: Token Generation in Sublinear Time and Memory [48.35076900702408]
大規模言語モデル(LLM)はトークン生成に広範なメモリ要件を持つ。
本研究では,KVキャッシュの効率的な圧縮手法の開発に焦点をあてる。
我々は,キートークンにオンラインクラスタリングを導入し,値に$ell$をサンプリングする,サブ線形複雑性を持つ新しいキャッシング手法を考案した。
このアルゴリズムは、サブリニアメモリフットプリントとサブリニアタイムの複雑さを保証するだけでなく、我々のアプローチに厳密なエラーを課す。
論文 参考訳(メタデータ) (2024-02-08T22:17:40Z) - KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [70.90551156819498]
大規模言語モデル(LLM)は、要求毎のコストを削減するために、多くのリクエストを一緒に要求する。
キー値(KV)キャッシュはメモリ要求を大幅に増加させ、スピードとメモリ使用における新たなボトルネックとなる。
KVキャッシュサイズを減らすための単純で効果的な解決策は量子化であり、KVキャッシュが取る全バイトを削減する。
KIVIは、Llama (Llama-2)、Falcon、Mistralモデルとほぼ同じ品質を維持しながら、$mathbf2.6times$のピークメモリ使用量を減らすことができる。
論文 参考訳(メタデータ) (2024-02-05T06:06:47Z) - Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [86.98304577162465]
大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。
我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。
認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
論文 参考訳(メタデータ) (2023-10-03T05:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。