論文の概要: Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving

• arxiv url: http://arxiv.org/abs/2407.00079v2
• Date: Tue, 2 Jul 2024 02:49:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 06:30:11.900785
• Title: Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
• Title（参考訳）: Mooncake: LLM実行のためのKVキャッシュ中心の分散アーキテクチャ
• Authors: Ruoyu Qin, Zheming Li, Weiran He, Mingxing Zhang, Yongwei Wu, Weimin Zheng, Xinran Xu,
• Abstract要約: ムーンケーキ(Mooncake)は、ムーンショットAIが提供するLLMサービスであるキミのサービスプラットフォームである。 プリフィルとデコードクラスタを分離するKVCache中心の非集約アーキテクチャを備えている。 Mooncakeの革新的なアーキテクチャにより、Kimiは75%以上のリクエストを処理することができる。
• 参考スコア（独自算出の注目度）: 8.500252161790781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI. It features a KVCache-centric disaggregated architecture that separates the prefill and decoding clusters. It also leverages the underutilized CPU, DRAM, and SSD resources of the GPU cluster to implement a disaggregated cache of KVCache. The core of Mooncake is its KVCache-centric scheduler, which balances maximizing overall effective throughput while meeting latency-related Service Level Objectives (SLOs). Unlike traditional studies that assume all requests will be processed, Mooncake faces challenges due to highly overloaded scenarios. To mitigate these, we developed a prediction-based early rejection policy. Experiments show that Mooncake excels in long-context scenarios. Compared to the baseline method, Mooncake can achieve up to a 525% increase in throughput in certain simulated scenarios while adhering to SLOs. Under real workloads, Mooncake's innovative architecture enables Kimi to handle 75% more requests.
• Abstract（参考訳）: ムーンケーキ(Mooncake)は、ムーンショットAIが提供するLLMサービスであるキミのサービスプラットフォームである。 プリフィルとデコードクラスタを分離するKVCache中心の非集約アーキテクチャを備えている。 また、GPUクラスタの未使用CPU、DRAM、SSDリソースを活用して、KVCacheの非集約キャッシュを実装している。 Mooncakeのコアとなるのは、KVCache中心のスケジューラで、レイテンシに関連するサービスレベルオブジェクト(SLO)を満たしながら、全体的な効率的なスループットを最大化する。 すべての要求が処理されると仮定する従来の研究とは異なり、Mooncakeは過負荷のシナリオのために課題に直面している。 これらを緩和するため,予測に基づく早期拒絶政策を開発した。 実験によると、Mooncakeは長いコンテキストのシナリオで優れている。 ベースライン法と比較して、MooncakeはSLOに固執しながらシミュレーションシナリオのスループットを最大525%向上させることができる。 実際のワークロード下では、Mooncakeの革新的なアーキテクチャにより、Kimiは75%以上のリクエストを処理することができる。

関連論文リスト

• InstCache: A Predictive Cache for LLM Serving [9.878166964839512]
  本稿では,命令整合 LLM によるユーザインストラクションの予測と,それを予測キャッシュ,いわゆる InstCache に格納することを提案する。 実験の結果、InstCacheはLMSysデータセット上で最大51.34%のヒット率を達成でき、メモリコストは4.5GBに過ぎなかった。
  論文  参考訳（メタデータ） (2024-11-21T03:52:41Z)
• Compute Or Load KV Cache? Why Not Both? [6.982874528357836]
  Cakeは、双方向並列化KVキャッシュ生成戦略を採用した、新しいKVキャッシュローダである。 プレフィックスキャッシュ位置から保存されたKVキャッシュを同時に動的にロードし、ローカルGPU上でKVキャッシュを計算する。 最大68.1%のTTFT(Time To First Token)削減を計算専用法と比較し、94.6%のTTFT削減をI/O専用法と比較する。
  論文  参考訳（メタデータ） (2024-10-04T01:11:09Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• PQCache: Product Quantization-based KVCache for Long Context LLM Inference [27.523568511043273]
  キーバリューキャッシュ(KVCache)は、大規模言語モデル(LLM)において重要なコンポーネントである 現在の手法では、この問題に対処するためにLLMにおける自己注意に適したキーと値を選択的に決定する。 本稿では,KVCacheの管理にPQ(Product Quantization)を採用しているPQCacheを提案する。
  論文  参考訳（メタデータ） (2024-07-01T13:05:42Z)
• MiniCache: KV Cache Compression in Depth Dimension for Large Language Models [48.03117580340151]
  キーバリュー(KV)キャッシュは、以前に生成されたトークンのキー値状態を格納する。 KVキャッシュのサイズはシーケンス長とともに線形に増加し、長いコンテキスト入力と広範囲なシーケンス生成を必要とするアプリケーションの課題を提起する。 レイヤ間のKVキャッシュを,新しい奥行きの観点から圧縮する,MiniCacheという,シンプルで効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:43:52Z)
• PyramidInfer: Pyramid KV Cache Compression for High-throughput LLM Inference [57.53291046180288]
  大規模言語モデル(LLM)は、目覚ましい理解能力を示しているが、推論中のGPUメモリ使用の課題に直面している。 本稿では,KVキャッシュを重要なコンテキストを階層的に保持することで圧縮するPraamidInferを提案する。 PyramidInferは、KVキャッシュで54%以上のGPUメモリを削減したAccelerateと比較して、2.2倍のスループットを改善している。
  論文  参考訳（メタデータ） (2024-05-21T06:46:37Z)
• Efficient LLM Inference with Kcache [3.945956673130761]
  大規模言語モデル(LLM)はAIアプリケーションに大きな影響を与えている。 KVキャッシュ技術は業界で最も広く使われている技術の一つである。 本稿では,LLM 推論プロセスにおけるメモリボトルネック問題を軽減するため,新しい KCache 手法を提案する。
  論文  参考訳（メタデータ） (2024-04-28T03:11:42Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。