論文の概要: CLO: Efficient LLM Inference System with CPU-Light KVCache Offloading via Algorithm-System Co-Design

• arxiv url: http://arxiv.org/abs/2511.14510v1
• Date: Tue, 18 Nov 2025 14:03:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.143898
• Title: CLO: Efficient LLM Inference System with CPU-Light KVCache Offloading via Algorithm-System Co-Design
• Title（参考訳）: CLO: CPU-Light KVCacheオフロードを用いたアルゴリズム・システム共設計による効率的なLLM推論システム
• Authors: Jiawei Yi, Ping Gong, Youhui Bai, Jiaqi Ruan, Shengnan Wang, Pengcheng Wang, Haibo Wang, Weiguang Wang, Xia Zhu, Feng Wu, Cheng Li,
• Abstract要約: アルゴリズム・システム共同設計によるCPUライトKVCacheオフロードシステムであるCLOを提案する。 CLOは最先端システムと同等の精度を実現し、CPUオーバーヘッドを大幅に最小化する。
• 参考スコア（独自算出の注目度）: 27.03446161229998
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The growth of million-token LLMs exposes the scalability limits of inference systems, where the KVCache dominates memory usage and data transfer overhead. Recent offloading systems migrate the KVCache to CPU memory and incorporate top-k attention to reduce the volume of data transferred from the CPU, while further applying system-level optimizations such as on-GPU caching and prefetching to lower transfer overhead. However, they overlook the CPU bottleneck in three aspects: (1) substantial overhead of fine-grained dynamic cache management performed on the CPU side, (2) significant transfer overhead from poor PCIe bandwidth utilization caused by heavy gathering operations at the CPU side, and (3) GPU runtime bubbles introduced by coarse-grained CPU-centric synchronization. To address these challenges, we propose CLO, a CPU-light KVCache offloading system via algorithm-system co-design. CLO features: (1) a coarse-grained head-wise approximate on-GPU caching strategy with negligible cache management cost, (2) seamless combination of data prefetching and on-GPU persistent caching for lower transfer overhead, (3) a zero-copy transfer engine to fully exploit PCIe bandwidth, and a GPU-centric synchronization method to eliminate GPU stalls. Evaluation on two widely-used LLMs demonstrates that CLO achieves comparable accuracy to state-of-the-art systems, while substantially minimizing CPU overhead, fully utilizing PCIe bandwidth, thus improving decoding throughput by 9.3%-66.6%. Our results highlight that algorithm-system co-design is essential for memory-constrained LLM inference on modern GPU platforms. We open source CLO at https://github.com/CommediaJW/CLO.
• Abstract（参考訳）: 数百万のLLMの増加は、KVCacheがメモリ使用量とデータ転送オーバーヘッドを支配している推論システムのスケーラビリティの限界を明らかにする。 最近のオフロードシステムは、KVCacheをCPUメモリに移行し、CPUから転送されるデータの量を減らすためにトップkの注意を払っている。 しかし、CPUのボトルネックは、(1)CPU側で実行されるきめ細かい動的キャッシュ管理のかなりのオーバーヘッド、(2)CPU側での大まかな収集操作によって生じるPCIe帯域利用の低さによる大きな転送オーバーヘッド、(3)大まかなCPU中心の同期によって導入されたGPUランタイムバブルの3つの側面で見過ごされている。 これらの課題に対処するため,アルゴリズム・システムによるCPUライトKVCacheオフロードシステムであるCLOを提案する。 CLO の特徴は,(1) キャッシュ管理コストが無視できる,粗粒度の近似した on-GPU キャッシュ戦略,(2) 転送オーバヘッド低減のためのデータプリフェッチと on-GPU 永続化キャッシュのシームレスな組み合わせ,(3) PCIe 帯域を完全に活用するゼロコピー転送エンジン,GPUストールを除去する GPU 中心同期手法である。 2つの広く使われているLCMの評価では、CLOは最先端のシステムと同等の精度を達成し、CPUオーバーヘッドを大幅に最小化し、PCIe帯域をフル活用し、復号スループットを9.3%-66.6%向上させた。 この結果から,現代のGPUプラットフォーム上でのメモリ制約付きLLM推論には,アルゴリズム・システム共設計が不可欠であることが示唆された。 我々はCLOをhttps://github.com/CommediaJW/CLOでオープンソース化しました。

関連論文リスト

• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• HGCA: Hybrid GPU-CPU Attention for Long Context LLM Inference [8.826966369389893]
  大規模言語モデルのためのハイブリッドCPU-GPUアテンション機構であるHGCAを提案する。 我々はHGCAが優れたスケーラビリティを実現し、より長いシーケンスとより大きなバッチサイズをサポートし、性能と正確性の両方において、既存の疎い注意基準よりも優れていることを示す。 さまざまなモデルとワークロードにわたる実験によると、HGCAは優れたスケーラビリティを実現し、長いシーケンスとより大きなバッチサイズをサポートし、パフォーマンスと正確性の両方において、既存のスパースアテンションベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-07-03T20:20:33Z)
• Less is Enough: Training-Free Video Diffusion Acceleration via Runtime-Adaptive Caching [57.7533917467934]
  EasyCacheは、ビデオ拡散モデルのためのトレーニング不要のアクセラレーションフレームワークである。 我々は,OpenSora,Wan2.1,HunyuanVideoなどの大規模ビデオ生成モデルについて包括的な研究を行っている。 提案手法は,従来のベースラインと比較して推定時間を最大2.1-3.3$times$に短縮する。
  論文  参考訳（メタデータ） (2025-07-03T17:59:54Z)
• Accelerating LLM Inference Throughput via Asynchronous KV Cache Prefetching [16.6871758712011]
  大規模言語モデル(LLM)は、高帯域メモリ(HBM)帯域幅の制約により、推論中に顕著なメモリバウンド特性を示す。 本稿では,L2キャッシュ指向の非同期KVキャッシュプリフェッチ手法を提案する。
  論文  参考訳（メタデータ） (2025-04-08T09:17:35Z)
• KVPR: Efficient LLM Inference with I/O-Aware KV Cache Partial Recomputation [7.204881999658682]
  キーバリューキャッシュは、大きな言語モデルの中間アクティベーションを格納するために使用される。 KVキャッシュに必要なメモリは急速に増加し、しばしばGPUメモリの容量を超える。 既存の方法は、GPU計算をI/Oで重複させたり、CPU-GPUの不均一な実行を採用することで、これらの問題に対処しようとする。 本稿では,CPUが最初にアクティベーションの部分集合を転送する,効率的なI/O対応LPM推論手法であるKVPRを紹介する。 KVPRは、最先端のアプローチと比較して最大で35.8%のレイテンシと46.2%のスループットを実現している。
  論文  参考訳（メタデータ） (2024-11-26T04:03:14Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。