論文の概要: EPIC: Efficient Position-Independent Caching for Serving Large Language Models

• arxiv url: http://arxiv.org/abs/2410.15332v3
• Date: Tue, 27 May 2025 09:24:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.044569
• Title: EPIC: Efficient Position-Independent Caching for Serving Large Language Models
• Title（参考訳）: EPIC:大規模言語モデルを実現するための効率的な位置独立キャッシング
• Authors: Junhao Hu, Wenrui Huang, Weidong Wang, Haoyi Wang, Tiancheng Hu, Qin Zhang, Hao Feng, Xusheng Chen, Yizhou Shan, Tao Xie,
• Abstract要約: キャッシングは、リクエスト間でキーバリューベクトルを再利用することで、パフォーマンスを向上させる。 既存のコンテキストキャッシュでは、リクエストにまたがる正確なプレフィックスが必要である。 位置独立キャッシング (PIC) を導入し, プレフィックスによらず KV ベクトルのモジュラー再利用を可能にする。 また、新しいLegoLinkアルゴリズムを取り入れたサービスシステムEPICも導入しています。
• 参考スコア（独自算出の注目度）: 19.510078997414606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) show great capabilities in a wide range of applications, but serving them efficiently becomes increasingly challenging as requests (prompts) become more complex. Context caching improves serving performance by reusing Key-Value (KV) vectors, the intermediate representations of tokens that are repeated across requests. However, existing context caching requires exact prefix matches across requests, limiting reuse cases in settings such as few-shot learning and retrieval-augmented generation, where immutable content (e.g., documents) remains unchanged across requests but is preceded by varying prefixes. Position-Independent Caching (PIC) addresses this issue by enabling modular reuse of the KV vectors regardless of prefixes. We formalize PIC and advance prior work by introducing EPIC, a serving system incorporating our new LegoLink algorithm, which mitigates the inappropriate "attention sink" effect at every document beginning, to maintain accuracy with minimal computation. Experiments show that EPIC achieves up to 8x improvements in Time-To-First-Token (TTFT) and 7x throughput gains over existing systems, with negligible or no accuracy loss.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いアプリケーションにおいて優れた機能を示すが、要求(prompt)がより複雑になるにつれて、効率的にそれらを提供するのがますます困難になる。 コンテキストキャッシュは、リクエスト間で繰り返されるトークンの中間表現であるキーバリュー(KV)ベクトルを再利用することで、サービスパフォーマンスを向上させる。 しかし、既存のコンテキストキャッシュでは、リクエスト間で正確なプレフィックスマッチングを必要としており、変更不能なコンテンツ(例:ドキュメント)がリクエスト間で変更されず、さまざまなプレフィックスによって先行されるような、少数ショットの学習や検索拡張生成といった設定での再利用ケースを制限する。 位置独立キャッシング(PIC)は、接頭辞によらずKVベクトルのモジュラー再利用を可能にすることでこの問題に対処する。 我々の新しいLegoLinkアルゴリズムを取り入れたサービスシステムであるEPICを導入することで、PICの形式化と先行作業の促進を実現し、ドキュメント開始時に不適切な「注意の流し込み」効果を軽減し、最小限の計算で正確性を維持する。 実験の結果、EPICはTTFT(Time-To-First-Token)の最大8倍のスループット向上を実現し、既存のシステムに比べて7倍のスループット向上を実現している。

関連論文リスト

• MPIC: Position-Independent Multimodal Context Caching System for Efficient MLLM Serving [32.56855948056532]
  本稿では,マルチモーダル情報管理におけるより効果的な手法として,位置独立キャッシングを提案する。 我々は,システムレベルの課題とアルゴリズムレベルの課題に対処するため,MPICというキャッシングシステムの設計と実装を行った。
  論文  参考訳（メタデータ） (2025-02-04T03:13:09Z)
• CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
  キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-12-16T13:01:53Z)
• Compute Or Load KV Cache? Why Not Both? [6.982874528357836]
  Cakeは計算資源とI/Oリソースを並列に最適に利用する新しいKVキャッシュローディングシステムである。 Cakeは、計算のみの手法やI/Oのみの手法と比較して、TTFT(Time to First Token)の平均2.6倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-04T01:11:09Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference [20.249206904309816]
  インコンテキスト学習(ICL)アプローチは典型的には、参照情報に基づいて条件デコーダのみの言語モデルを生成するプロンプトを活用する。 この研究は、エンコーダ・デコーダアーキテクチャにインスパイアされたモデルを導入し、プロンプトなしで参照テキストの条件生成にクロスアテンションを使用することにより、これらの制限に対処する。 質問応答(QA)をテストベッドとして使用し、条件生成能力を評価し、ICLより優れており、微調整された誘導LDMと同等であり、標準KVキャッシュと比較して空間フットプリントを2桁の精度で大幅に削減する。
  論文  参考訳（メタデータ） (2024-04-23T18:10:42Z)
• QAQ: Quality Adaptive Quantization for LLM KV Cache [3.163526369095745]
  モデルデプロイメントのボトルネックは、コンテキスト長のキーバリューキャッシュの線形拡張によって生じる。 KVキャッシュのための品質適応量子化スキームQAQを提案する。
  論文  参考訳（メタデータ） (2024-03-07T16:42:37Z)
• ChunkAttention: Efficient Self-Attention with Prefix-Aware KV Cache and Two-Phase Partition [3.659659889927316]
  ChunkAttentionは、大きな言語モデルのためのプレフィックス対応のセルフアテンションモジュールである。 複数のリクエストにまたがる一致したプロンプトプレフィックスを検出し、実行時にそのキー/値テンソルをメモリで共有する。 実験の結果、ChunkAttentionは最先端の実装と比較して、自己保持カーネルを3.2-4.8$times$で高速化できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T09:29:19Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。