論文の概要: Causal Attention on CPU: A Cache-Aware and Load-Balanced Scheduling Kernel for Prefill

• arxiv url: http://arxiv.org/abs/2610.38809v2
• Date: Fri, 30 Oct 2026 19:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:45.005719
• Title: Causal Attention on CPU: A Cache-Aware and Load-Balanced Scheduling Kernel for Prefill
• Title（参考訳）: CPU上の因果注意:プリフィルのためのキャッシュとロードバランシングのスケジューリングカーネル
• Abstract要約: Agentic AIは、さまざまなドメイン間で大幅な生産性向上を実現しているが、複数のエージェントからの並行したロングコンテキストプリフィルは、GPU計算リソースを飽和させることができる。 本稿では,階層型キャッシュブロッキングとカーネル内タスクディスパッチ機構を備えた高性能アテンションカーネルであるCACPUを紹介する。 PyTorch SDPA、FlexAttention、SGLangのアテンションカーネルの2.01倍のスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 0.8299692647308321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic AI drives significant productivity gains across diverse domains, but concurrent long-context prefills from multiple agents can saturate GPU compute resources. Although CPUs offer a viable alternative, existing CPU attention kernels fall short in adapting to multi-tier cache hierarchies and lack effective thread scheduling. To address this, we introduce CACPU, a high-performance attention kernel featuring tiered cache blocking and an in-kernel task dispatching mechanism designed for causal full-sequence prefilling. CACPU achieves up to a 2.01x speedup over PyTorch SDPA, FlexAttention, and SGLang attention kernels. Integrated into SGLang, it reduces Time to First Token (TTFT) of Llama-3.1-8B by up to 1.74x while preserving model accuracy.
• Abstract（参考訳）: Agentic AIは、さまざまなドメイン間で大幅な生産性向上を実現しているが、複数のエージェントからの並行したロングコンテキストプリフィルは、GPU計算リソースを飽和させることができる。 CPUは実行可能な代替手段を提供するが、既存のCPUアテンションカーネルはマルチ層キャッシュ階層への適応が不足し、スレッドの効率的なスケジューリングが欠如している。 そこで本研究では,階層型キャッシュブロッキングを特徴とする高性能アテンションカーネルであるCACPUと,因果完全列プリフィル用に設計されたカーネル内タスクディスパッチ機構を紹介する。 CACPUはPyTorch SDPA、FlexAttention、SGLangのアテンションカーネル上で2.01倍のスピードアップを達成する。 SGLangに統合され、モデル精度を維持しながらLlama-3.1-8BのTTFT時間を最大1.74倍に短縮する。

関連論文リスト

• Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
  我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。 FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。 最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-08-31T15:13:20Z)
• Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC [1.1476836276366738]
  大規模言語モデル(LLM)推論は、急速にコアデータセンターサービスになりつつある。 現在のサービススタックは、オーケストレーションとトークンレベルの制御において、ホストがクリティカルパスを維持している。 我々は、ホストCPUを定常状態の推論パスから取り除くエンドツーエンドのサービスアーキテクチャであるBlinkを紹介した。
  論文  参考訳（メタデータ） (2026-04-08T21:27:47Z)
• ScoutAttention: Efficient KV Cache Offloading via Layer-Ahead CPU Pre-computation for LLM Inference [31.69761251861347]
  大規模言語モデルは、長いコンテキスト推論中に重要なGPUメモリ容量の制約に直面する。 我々は,GPUとCPUの協調処理によりLLM推論を高速化する新しいKVキャッシュオフロードフレームワークであるScoutAttentionを提案する。 ScoutAttentionは、新しいレイヤアヘッドCPUプリ計算アルゴリズムを備えており、CPUが1つのレイヤに前もって注意計算を開始することができる。 実験の結果、ScoutAttentionはベースラインの2.4%以内の精度を維持し、既存のオフロード方式に比べて2.1倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-03-28T05:06:05Z)
• Towards Closing the Performance Gap for Cryptographic Kernels Between CPUs and Specialized Hardware [0.07646713951724009]
  我々は,x86 CPU用暗号カーネルをコア単位で最適化した実装を開発する。 マルチワード拡張(MQX)と呼ばれる小型AVX-512拡張を提案する。 MQXはASICに対するスローダウンを1つのCPUコアで35倍に削減する。
  論文  参考訳（メタデータ） (2025-09-15T22:35:00Z)
• HGCA: Hybrid GPU-CPU Attention for Long Context LLM Inference [8.826966369389893]
  大規模言語モデルのためのハイブリッドCPU-GPUアテンション機構であるHGCAを提案する。 我々はHGCAが優れたスケーラビリティを実現し、より長いシーケンスとより大きなバッチサイズをサポートし、性能と正確性の両方において、既存の疎い注意基準よりも優れていることを示す。 さまざまなモデルとワークロードにわたる実験によると、HGCAは優れたスケーラビリティを実現し、長いシーケンスとより大きなバッチサイズをサポートし、パフォーマンスと正確性の両方において、既存のスパースアテンションベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-07-03T20:20:33Z)
• Agent.xpu: Efficient Scheduling of Agentic LLM Workloads on Heterogeneous SoC [11.82567747365518]
  本稿では,メモリ統一ヘテロジニアス SOC 上でのエージェント LLM ワークロードの効率的なサービスシステムである Agent.xpu について紹介する。 Agent.xpuは専用のオフラインプロファイリングにより、アフィニティ誘導弾性加速器マッピングのためにモデルカーネルを融合・チャンクする異種実行グラフを最初に構築した。 実行時に、そのオンラインスケジューラは、粒度の細かいカーネルレベルのプリエンプションを可能にし、リアクティブタスクの応答性を保証する。
  論文  参考訳（メタデータ） (2025-06-30T16:50:48Z)
• Deliberation in Latent Space via Differentiable Cache Augmentation [48.228222586655484]
  凍結した大規模言語モデルをオフラインコプロセッサで拡張し,キー値(kv)キャッシュで動作することを示す。 このコプロセッサは、後続の復号化の忠実性を改善するために設計された遅延埋め込みのセットでキャッシュを増強する。 キャッシュが拡張されると、デコーダは多数のトークンに対して低いパープレキシティを達成できることを示す。
  論文  参考訳（メタデータ） (2024-12-23T18:02:25Z)
• ThunderKittens: Simple, Fast, and Adorable AI Kernels [43.32681787348603]
  We present ThunderKittens (TK), a framework for write performanceant AI kernels while rest to use and maintain。 我々は、さまざまなAI操作に対して、以前のカーネルと一致するか、より優れているカーネルを提供することで、TKの価値を示す。
  論文  参考訳（メタデータ） (2024-10-27T10:07:16Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。