論文の概要: CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation

• arxiv url: http://arxiv.org/abs/2412.11741v1
• Date: Mon, 16 Dec 2024 13:01:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:31.439214
• Title: CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation
• Title（参考訳）: CSR:スパース表現による1ビットキーバリューキャッシュの実現
• Authors: Hongxuan Zhang, Yao Zhao, Jiaqi Zheng, Chenyi Zhuang, Jinjie Gu, Guihai Chen,
• Abstract要約: キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
• 参考スコア（独自算出の注目度）: 63.65323577445951
• License:
• Abstract: The emergence of long-context text applications utilizing large language models (LLMs) has presented significant scalability challenges, particularly in memory footprint. The linear growth of the Key-Value (KV) cache responsible for storing attention keys and values to minimize redundant computations can lead to substantial increases in memory consumption, potentially causing models to fail to serve with limited memory resources. To address this issue, we propose a novel approach called Cache Sparse Representation (CSR), which converts the KV cache by transforming the dense Key-Value cache tensor into sparse indexes and weights, offering a more memory-efficient representation during LLM inference. Furthermore, we introduce NeuralDict, a novel neural network-based method for automatically generating the dictionary used in our sparse representation. Our extensive experiments demonstrate that CSR achieves performance comparable to state-of-the-art KV cache quantization algorithms while maintaining robust functionality in memory-constrained environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用した長文テキストアプリケーションの出現は、特にメモリフットプリントにおいて、大きなスケーラビリティ上の課題を提起している。 冗長な計算を最小限に抑えるために注意キーと値を保存するキーバリュー(KV)キャッシュの線形成長は、メモリ消費を大幅に増加させる可能性があるため、モデルが限られたメモリリソースで機能しない可能性がある。 この問題を解決するために,キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。この手法は,高密度キーバリューキャッシュテンソルをスパースインデックスと重みに変換することでKVキャッシュを変換し,LLM推論中によりメモリ効率の良い表現を提供する。 さらに、スパース表現に使用される辞書を自動的に生成するニューラルネットワークベースの新しい手法であるNeuralDictを導入する。 我々の広範な実験により、CSRは、メモリ制約環境におけるロバストな機能を維持しつつ、最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を実現することが実証された。

関連論文リスト

• A Method for Building Large Language Models with Predefined KV Cache Capacity [11.710667043543545]
  境界キャッシュ変換器(BCT)は、従来のKVキャッシュの過剰なメモリ消費問題に対処する。 キー値ベクトル列を動的に更新することにより、BCTは限られたキャッシュ容量内で効率的な推論を実現する。 実験の結果,BCTは推論品質を維持しながらメモリ使用量を大幅に削減することがわかった。
  論文  参考訳（メタデータ） (2024-11-24T11:30:00Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• Keyformer: KV Cache Reduction through Key Tokens Selection for Efficient Generative Inference [2.8241099113277666]
  キーフォーマー」は、KVキャッシュサイズとメモリ帯域幅利用に関する課題を軽減する革新的な推論時アプローチである。 我々はKeyformerの性能を,GPT-J,Cerebras-GPT,MPTの3つの基礎モデルで評価した。
  論文  参考訳（メタデータ） (2024-03-14T02:42:42Z)
• SubGen: Token Generation in Sublinear Time and Memory [48.35076900702408]
  大規模言語モデル(LLM)はトークン生成に広範なメモリ要件を持つ。 本研究では,KVキャッシュの効率的な圧縮手法の開発に焦点をあてる。 我々は,キートークンにオンラインクラスタリングを導入し,値に$ell$をサンプリングする,サブ線形複雑性を持つ新しいキャッシング手法を考案した。 このアルゴリズムは、サブリニアメモリフットプリントとサブリニアタイムの複雑さを保証するだけでなく、我々のアプローチに厳密なエラーを課す。
  論文  参考訳（メタデータ） (2024-02-08T22:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。