論文の概要: Model Tells You Where to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks

• arxiv url: http://arxiv.org/abs/2407.08454v2
• Date: Sun, 21 Jul 2024 02:37:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 00:22:12.265593
• Title: Model Tells You Where to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks
• Title（参考訳）: Model tell you to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks
• Authors: Zheng Wang, Boxiao Jin, Zhongzhi Yu, Minjia Zhang,
• Abstract要約: KVMergerと呼ばれる新しいKVキャッシュマージ手法を提案し、長文タスクに対して適応的なKVキャッシュ圧縮を実現する。 我々のアプローチは、キー状態が1つのシーケンス内のトークンレベルで高い類似性を示すという興味深い観察にインスパイアされている。 我々は,制約メモリ予算下での長時間コンテキストタスクに対するKVMergerの有効性を示すため,広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 21.815661269986425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How to efficiently serve Large Language Models (LLMs) has become a pressing issue because of their huge computational cost in their autoregressive generation process. To mitigate computational costs, LLMs often employ the KV Cache technique to improve the generation speed. While improving the computational efficiency, the storage requirements of the KV cache are substantial, particularly in long-context scenarios, leading to significant memory consumption. Existing KV cache eviction methods often degrade the performance of LLMs in long-context scenarios due to the information loss introduced by eviction. In this paper, we propose a novel KV cache merging approach, called KVMerger, to achieve adaptive KV cache compression for long-context tasks without significant performance degradation under constrained memory budgets. Our approach is inspired by the intriguing observation that key states exhibit high similarity at the token level within a single sequence. To facilitate merging, we develop an effective yet straightforward merging set identification algorithm to identify suitable KV states for merging. Our merging set identification algorithm stimulates the second observation that KV cache sparsity, from similarity perspective, is independent of the dataset and remains persistent at the model level. Subsequently, we propose a Gaussian kernel weighted merging algorithm to selectively merge all states within each merging set. We conduct extensive experiments to demonstrate the effectiveness of KVMerger for long-context tasks under constrained memory budgets, applying it to models including Llama2-7B-chat and Llama2-13B-chat. Using the LongBench and ZeroScroll benchmarks, we compare our method with other KV cache compression techniques, including H2O and CaM, showing that our method achieves superior performance across tasks with both 50% and 35% KV cache budgets.
• Abstract（参考訳）: 大規模言語モデル (LLM) を効率的に利用する方法は, 自己回帰生成プロセスにおいて計算コストが大きいため, 問題となっている。 計算コストを軽減するため、LLMは生成速度を改善するためにKVキャッシュ技術を使用することが多い。 計算効率は向上するが、KVキャッシュのストレージ要求は特に長期コンテキストのシナリオでは大幅に増加し、メモリ消費は大幅に増加する。 既存のKVキャッシュ消去手法は、消去によって引き起こされる情報損失により、長いコンテキストシナリオにおいてLLMの性能を劣化させることが多い。 本稿では,KVMergerと呼ばれる新しいKVキャッシュマージ手法を提案する。 我々のアプローチは、キー状態が1つのシーケンス内のトークンレベルで高い類似性を示すという興味深い観察にインスパイアされている。 マージを容易にするために, マージに適したKV状態を特定するために, 効果的かつ簡単なマージセット識別アルゴリズムを開発した。 我々のマージセット識別アルゴリズムは、類似性の観点から、KVキャッシュのスパーシティがデータセットとは独立であり、モデルレベルで持続的であるという2つ目の観察を刺激する。 次に,各マージ集合内の全ての状態を選択的にマージするガウスカーネル重み付きマージアルゴリズムを提案する。 我々は,Llama2-7B-chatやLlama2-13B-chatなどのモデルに適用し,制約付きメモリ予算下での長時間コンテキストタスクに対するKVMergerの有効性を実証するための広範な実験を行った。 本稿では,LongBench と ZeroScroll のベンチマークを用いて,H2O と CaM を含む他の KV キャッシュ圧縮手法と比較し,50% と 35% の KV キャッシュ予算でタスク間で優れた性能を実現することを示す。

関連論文リスト

• Effectively Compress KV Heads for LLM [28.0801697946958]
  キーバリュー(KV)キャッシュを圧縮する新しい手法を提案する。 提案手法は,従来のLLMに匹敵する性能を維持しつつ,KVヘッドの4分の1以上を圧縮することができる。
  論文  参考訳（メタデータ） (2024-06-11T08:37:33Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [53.08975547824068]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 メモリ効率を強調するシナリオでは、KVキャッシュのわずか0.7%しか維持されていないが、Praamid KVは他のKVキャッシュ圧縮技術を超え、TRECでは最大20.5の絶対精度の向上を実現している。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)
• MiniCache: KV Cache Compression in Depth Dimension for Large Language Models [48.03117580340151]
  キーバリュー(KV)キャッシュは、以前に生成されたトークンのキー値状態を格納する。 KVキャッシュのサイズはシーケンス長とともに線形に増加し、長いコンテキスト入力と広範囲なシーケンス生成を必要とするアプリケーションの課題を提起する。 レイヤ間のKVキャッシュを,新しい奥行きの観点から圧縮する,MiniCacheという,シンプルで効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:43:52Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• SqueezeAttention: 2D Management of KV-Cache in LLM Inference via Layer-wise Optimal Budget [11.977210887770225]
  注意層の重要性を同定することにより、KV-cacheを2次元から共同で最適化できることが判明した。 シーケンスとレイヤの寸法からKVキャッシュを最適化することで、SqueezeAttentionはメモリの約30%から70%の削減と最大2.2倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2024-04-07T03:08:14Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• SubGen: Token Generation in Sublinear Time and Memory [48.35076900702408]
  大規模言語モデル(LLM)はトークン生成に広範なメモリ要件を持つ。 本研究では,KVキャッシュの効率的な圧縮手法の開発に焦点をあてる。 我々は,キートークンにオンラインクラスタリングを導入し,値に$ell$をサンプリングする,サブ線形複雑性を持つ新しいキャッシング手法を考案した。 このアルゴリズムは、サブリニアメモリフットプリントとサブリニアタイムの複雑さを保証するだけでなく、我々のアプローチに厳密なエラーを課す。
  論文  参考訳（メタデータ） (2024-02-08T22:17:40Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。