論文の概要: ScoutAttention: Efficient KV Cache Offloading via Layer-Ahead CPU Pre-computation for LLM Inference

• arxiv url: http://arxiv.org/abs/2603.27138v1
• Date: Sat, 28 Mar 2026 05:06:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.805765
• Title: ScoutAttention: Efficient KV Cache Offloading via Layer-Ahead CPU Pre-computation for LLM Inference
• Title（参考訳）: ScoutAttention: LLM推論のためのLayer-Ahead CPUプリ計算による効率的なKVキャッシュオフロード
• Authors: Qiuyang Zhang, Kai Zhou, Ding Tang, Kai Lu, Cheng Li, Zhenyu Yang, Peng Xu, Jiguang Wan,
• Abstract要約: 大規模言語モデルは、長いコンテキスト推論中に重要なGPUメモリ容量の制約に直面する。 我々は,GPUとCPUの協調処理によりLLM推論を高速化する新しいKVキャッシュオフロードフレームワークであるScoutAttentionを提案する。 ScoutAttentionは、新しいレイヤアヘッドCPUプリ計算アルゴリズムを備えており、CPUが1つのレイヤに前もって注意計算を開始することができる。 実験の結果、ScoutAttentionはベースラインの2.4%以内の精度を維持し、既存のオフロード方式に比べて2.1倍のスピードアップを達成した。
• 参考スコア（独自算出の注目度）: 31.69761251861347
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models encounter critical GPU memory capacity constraints during long-context inference, where KV cache memory consumption severely limits decode batch sizes. While existing research has explored offloading KV cache to DRAM, these approaches either demand frequent GPU-CPU data transfers or impose extensive CPU computation requirements, resulting in poor GPU utilization as the system waits for I/O operations or CPU processing to complete. We propose ScoutAttention, a novel KV cache offloading framework that accelerates LLM inference through collaborative GPU-CPU attention computation. To prevent CPU computation from bottlenecking the system, ScoutAttention introduces GPU-CPU collaborative block-wise sparse attention that significantly reduces CPU load. Unlike conventional parallel computing approaches, our framework features a novel layer-ahead CPU pre-computation algorithm, enabling the CPU to initiate attention computation one layer in advance, complemented by asynchronous periodic recall mechanisms to maintain minimal CPU compute load. Experimental results demonstrate that ScoutAttention maintains accuracy within 2.4% of baseline while achieving 2.1x speedup compared to existing offloading methods.
• Abstract（参考訳）: 大きな言語モデルは、KVキャッシュのメモリ消費がバッチサイズを著しく制限する長時間コンテキスト推論において、重要なGPUメモリ容量制限に直面する。 既存の研究は、KVキャッシュをDRAMにオフロードすることを検討したが、これらのアプローチは、頻繁にGPU-CPUデータ転送を要求するか、広範囲のCPU計算要求を課すかのいずれかであり、システムがI/O操作やCPU処理が完了するのを待つと、GPUの利用が低下する。 我々は,GPUとCPUの協調処理によりLLM推論を高速化する新しいKVキャッシュオフロードフレームワークであるScoutAttentionを提案する。 CPU計算がシステムのボトルネックになるのを防ぐため、ScoutAttentionでは、CPU負荷を大幅に削減するGPUとCPUの協調的なブロックワイズアテンションを導入している。 従来の並列コンピューティングのアプローチとは異なり、我々のフレームワークは新しい階層型CPUプリ計算アルゴリズムを特徴とし、CPUがCPU計算負荷を最小限に抑えるために非同期周期的リコール機構によって補完される1つのレイヤーに注意を向けることを可能にする。 実験の結果、ScoutAttentionはベースラインの2.4%以内の精度を維持し、既存のオフロード方式に比べて2.1倍のスピードアップを達成した。

関連論文リスト

• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• Spava: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention [63.69228529380251]
  Spavaはシーケンス並列フレームワークで、ロングビデオ推論に最適化されている。 Spavaは、FlashAttn、ZigZagRing、APBで12.72x、1.70x、1.18xのスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-01-29T09:23:13Z)
• CLO: Efficient LLM Inference System with CPU-Light KVCache Offloading via Algorithm-System Co-Design [27.03446161229998]
  アルゴリズム・システム共同設計によるCPUライトKVCacheオフロードシステムであるCLOを提案する。 CLOは最先端システムと同等の精度を実現し、CPUオーバーヘッドを大幅に最小化する。
  論文  参考訳（メタデータ） (2025-11-18T14:03:21Z)
• HGCA: Hybrid GPU-CPU Attention for Long Context LLM Inference [8.826966369389893]
  大規模言語モデルのためのハイブリッドCPU-GPUアテンション機構であるHGCAを提案する。 我々はHGCAが優れたスケーラビリティを実現し、より長いシーケンスとより大きなバッチサイズをサポートし、性能と正確性の両方において、既存の疎い注意基準よりも優れていることを示す。 さまざまなモデルとワークロードにわたる実験によると、HGCAは優れたスケーラビリティを実現し、長いシーケンスとより大きなバッチサイズをサポートし、パフォーマンスと正確性の両方において、既存のスパースアテンションベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-07-03T20:20:33Z)
• DAOP: Data-Aware Offloading and Predictive Pre-Calculation for Efficient MoE Inference [14.676716521856813]
  Mixture-of-Experts (MoE)モデルは、メモリ制限されたデバイスにおいて、重大なデプロイメント上の課題に直面している。 並列GPU-CPU実行を最適化するデバイス上でのMoE推論エンジンである presentP を提案する。 Pは従来のエキスパートキャッシングとプリフェッチの手法を最大8.20倍、オフロード技術は1.35倍、精度は維持する。
  論文  参考訳（メタデータ） (2024-12-16T07:59:21Z)
• KVPR: Efficient LLM Inference with I/O-Aware KV Cache Partial Recomputation [7.204881999658682]
  キーバリューキャッシュは、大きな言語モデルの中間アクティベーションを格納するために使用される。 KVキャッシュに必要なメモリは急速に増加し、しばしばGPUメモリの容量を超える。 既存の方法は、GPU計算をI/Oで重複させたり、CPU-GPUの不均一な実行を採用することで、これらの問題に対処しようとする。 本稿では,CPUが最初にアクティベーションの部分集合を転送する,効率的なI/O対応LPM推論手法であるKVPRを紹介する。 KVPRは、最先端のアプローチと比較して最大で35.8%のレイテンシと46.2%のスループットを実現している。
  論文  参考訳（メタデータ） (2024-11-26T04:03:14Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。