論文の概要: KV-Runahead: Scalable Causal LLM Inference by Parallel Key-Value Cache Generation

• arxiv url: http://arxiv.org/abs/2405.05329v1
• Date: Wed, 8 May 2024 18:03:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 15:02:12.544224
• Title: KV-Runahead: Scalable Causal LLM Inference by Parallel Key-Value Cache Generation
• Title（参考訳）: KV-Runahead:並列キー値キャッシュ生成によるスケーラブル因果LLM推論
• Authors: Minsik Cho, Mohammad Rastegari, Devang Naik,
• Abstract要約: 大規模言語モデル(LLM)推論は、プロンプト(またはプリフィル)フェーズと拡張(またはデコード)フェーズの2つのフェーズを持つ。 本稿では,プロンプト位相を高速化する効率的な並列化手法KV-Runaheadを提案する。 KV-Runaheadは、複数のプロセスを編成してKV-cacheを起動することで、プロンプトフェーズを並列化する。
• 参考スコア（独自算出の注目度）: 20.98447775598288
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Model or LLM inference has two phases, the prompt (or prefill) phase to output the first token and the extension (or decoding) phase to the generate subsequent tokens. In this work, we propose an efficient parallelization scheme, KV-Runahead to accelerate the prompt phase. The key observation is that the extension phase generates tokens faster than the prompt phase because of key-value cache (KV-cache). Hence, KV-Runahead parallelizes the prompt phase by orchestrating multiple processes to populate the KV-cache and minimizes the time-to-first-token (TTFT). Dual-purposing the KV-cache scheme has two main benefits. Fist, since KV-cache is designed to leverage the causal attention map, we minimize computation and computation automatically. Second, since it already exists for the exten- sion phase, KV-Runahead is easy to implement. We further propose context-level load-balancing to handle uneven KV-cache generation (due to the causal attention) and to optimize TTFT. Compared with an existing parallelization scheme such as tensor or sequential parallelization where keys and values are locally generated and exchanged via all-gather collectives, our experimental results demonstrate that KV-Runahead can offer over 1.4x and 1.6x speedups for Llama 7B and Falcon 7B respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論は、最初のトークンを出力するプロンプト(またはプリフィル)フェーズと、後続のトークンを生成する拡張(またはデコード)フェーズの2つのフェーズを持つ。 本研究では,高速な並列化手法KV-Runaheadを提案する。 鍵となる観察は、キー値キャッシュ(KV-cache)のため、拡張フェーズがプロンプトフェーズよりも早くトークンを生成することである。 したがって、KV-Runaheadは、複数のプロセスを編成してKV-cacheを発生させ、TTFT(time-to-first-token)を最小化することにより、プロンプトフェーズを並列化する。 KV-cache方式は2つの大きな利点がある。 KV-cacheは因果注意マップを利用するように設計されているため、計算と計算を自動的に最小化する。 第二に、既に拡張子相が存在するため、KV-Runaheadの実装が容易である。 さらに、(因果注意による)不均一なKVキャッシュ生成を処理し、TTFTを最適化するために、コンテキストレベルの負荷分散を提案する。 テンソルやシーケンシャル並列化のような既存の並列化方式と比較して、KV-RunaheadはLlama 7BとFalcon 7Bでそれぞれ1.4倍、1.6倍のスピードアップを提供できることを示した。

関連論文リスト

• RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression [25.190765258589707]
  RocketKVは、デコードフェーズにおけるKVキャッシュのメモリ帯域幅とキャパシティ要求の両方を削減するために設計された、トレーニング不要なKVキャッシュ圧縮戦略である。 RocketKVは、NVIDIA H100 GPU上のデコードフェーズで最大31%のピークメモリ削減とともに、エンドツーエンドのスピードアップを最大3$times$で提供することを示す。
  論文  参考訳（メタデータ） (2025-02-19T19:12:46Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
  ロングコンテキストは推論効率に重大な課題をもたらす。 本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。 実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T10:58:27Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Model Tells You Where to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks [21.815661269986425]
  KVMergerと呼ばれる新しいKVキャッシュマージ手法を提案し、長文タスクに対して適応的なKVキャッシュ圧縮を実現する。 我々のアプローチは、キー状態が1つのシーケンス内のトークンレベルで高い類似性を示すという興味深い観察にインスパイアされている。 我々は,制約メモリ予算下での長時間コンテキストタスクに対するKVMergerの有効性を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-07-11T12:50:42Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)
• DeFT: Decoding with Flash Tree-attention for Efficient Tree-structured LLM Inference [22.684773338989007]
  大規模言語モデル(LLM)は、トークンの共有プレフィックスを持つツリー構造において、複数の世代呼び出しを処理する複雑なタスクにますます採用されている。 木に基づくアプリケーションの既存の推論システムは、注意計算中にクエリとKVキャッシュの不適切なパーティショニングのために非効率である。 我々は,プレフィックス認識と負荷分散KVキャッシュパーティションを用いたハードウェア効率の高いアテンションアルゴリズムであるDeFTを提案する。
  論文  参考訳（メタデータ） (2024-03-30T04:34:54Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。