論文の概要: FastKV: KV Cache Compression for Fast Long-Context Processing with Token-Selective Propagation

• arxiv url: http://arxiv.org/abs/2502.01068v1
• Date: Mon, 03 Feb 2025 05:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:43.944546
• Title: FastKV: KV Cache Compression for Fast Long-Context Processing with Token-Selective Propagation
• Title（参考訳）: FastKV: Token-Selective Propagationを用いた長時間処理高速化のためのKVキャッシュ圧縮
• Authors: Dongwon Jo, Jiwon Song, Yulhwa Kim, Jae-Joon Kim,
• Abstract要約: 大きな言語モデル(LLM)は、長いコンテキストシーケンスを扱うのに優れている。 コンテキスト情報を格納するために、かなりのキーバリュー(KV)キャッシュが必要である。 FastKVは、長いコンテキストシーケンスのレイテンシを高めるために設計されたKVキャッシュ圧縮方式である。
• 参考スコア（独自算出の注目度）: 4.856070170902535
• License:
• Abstract: While large language models (LLMs) excel at handling long-context sequences, they require substantial key-value (KV) caches to store contextual information, which can heavily burden computational efficiency and memory usage. Previous efforts to compress these KV caches primarily focused on reducing memory demands but were limited in enhancing latency. To address this issue, we introduce FastKV, a KV cache compression method designed to enhance latency for long-context sequences. To enhance processing speeds while maintaining accuracy, FastKV adopts a novel Token-Selective Propagation (TSP) approach that retains the full context information in the initial layers of LLMs and selectively propagates only a portion of this information in deeper layers even in the prefill stage. Additionally, FastKV incorporates grouped-query attention (GQA)-aware KV cache compression to exploit the advantages of GQA in both memory and computational efficiency. Our experimental results show that FastKV achieves 2.00$\times$ and 1.40$\times$ improvements in time-to-first-token (TTFT) and throughput, respectively, compared to HeadKV, the state-of-the-art KV cache compression method. Moreover, FastKV successfully maintains accuracy on long-context benchmarks at levels comparable to the baselines. Our code is available at https://github.com/dongwonjo/FastKV.
• Abstract（参考訳）: 大きな言語モデル(LLM)は長いコンテキストシーケンスを扱うのに優れているが、コンテキスト情報を格納するためにキー値(KV)キャッシュが必要であり、計算効率とメモリ使用量を大幅に負担する。 これらのKVキャッシュを圧縮する以前の取り組みは、主にメモリ要求の削減に重点を置いていたが、レイテンシの向上に制限があった。 この問題に対処するために、長いコンテキストシーケンスのレイテンシを高めるために設計されたKVキャッシュ圧縮方式であるFastKVを紹介する。 精度を保ちながら処理速度を向上させるため、FastKVは、LLMの初期層における全コンテキスト情報を保持し、プリフィル段階においても、この情報の一部をより深い層で選択的に伝播する新しいToken-Selective Propagation (TSP)アプローチを採用する。 さらに、FastKVは、メモリと計算効率の両方においてGQAの利点を利用するために、GQA(Grouped-query attention)を意識したKVキャッシュ圧縮を取り入れている。 実験結果からFastKVは,最先端のKVキャッシュ圧縮方式であるHeadKVと比較して,TTFT(Time-to-first-token)とスループットの改善により2.00$\times$と1.40$\times$を実現していることがわかった。 さらに、FastKVはベースラインに匹敵するレベルで長文ベンチマークの精度を維持している。 私たちのコードはhttps://github.com/dongwonjo/FastKV.comで入手可能です。

関連論文リスト

• RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression [25.190765258589707]
  RocketKVは、デコードフェーズにおけるKVキャッシュのメモリ帯域幅とキャパシティ要求の両方を削減するために設計された、トレーニング不要なKVキャッシュ圧縮戦略である。 RocketKVは、NVIDIA H100 GPU上のデコードフェーズで最大31%のピークメモリ削減とともに、エンドツーエンドのスピードアップを最大3$times$で提供することを示す。
  論文  参考訳（メタデータ） (2025-02-19T19:12:46Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
  ロングコンテキストは推論効率に重大な課題をもたらす。 本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。 実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T10:58:27Z)
• VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration [7.463830743649754]
  VLM(Vision-Language Models)は、多目的なタスクセットにまたがる印象的なパフォーマンスを実証している。 キーバリュー(KV)キャッシュは、画像やビデオなどの長い視覚的コンテキストをエンコードする。 既存のKVキャッシュ圧縮手法は大規模言語モデル(LLM)に有効である VLM推論の高速化に適した新しいKVキャッシュ圧縮レシピを提案する。
  論文  参考訳（メタデータ） (2024-10-29T20:04:34Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• Lossless KV Cache Compression to 2% [22.98828332096935]
  この研究は、KVキャッシュを元のサイズの2%未満に圧縮することを目的とした、新しいアーキテクチャであるCLLA(Cross-Layer Latent Attention)を導入している。 CLLAは、アテンションヘッド/ディメンション低減、レイヤ共有、量子化技術を結合的なフレームワークに統合する。
  論文  参考訳（メタデータ） (2024-10-20T02:17:35Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [53.08975547824068]
  本研究では,大規模言語モデル(LLM)内の注意に基づく情報フローが,長期的文脈処理のための顕著なパターンによって集約されるかどうかを検討する。 観測の結果,LLMは下層に広く注意が散らばっているピラミッド情報ファンリングを通じて情報を集約することがわかった。 これらの知見に触発され、我々は新しい効率的なKVキャッシュ圧縮法であるPraamid KVを開発した。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)
• SKVQ: Sliding-window Key and Value Cache Quantization for Large Language Models [43.22490117833939]
  SKVQはスライディングウインドウKVキャッシュ量子化の略である。 SKVQは、量子化グループにおけるチャネルの類似性を改善するために、KVキャッシュのチャネルを再構成する。 7bモデルで80GBのメモリGPU上で最大1Mのコンテキスト長を処理でき、最大7倍高速な復号を行うことができる。
  論文  参考訳（メタデータ） (2024-05-10T03:06:24Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。