論文の概要: SMEPilot: Characterizing and Optimizing LLM Inference with Scalable Matrix Extensions

• arxiv url: http://arxiv.org/abs/2606.16332v1
• Date: Mon, 15 Jun 2026 07:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.152179
• Title: SMEPilot: Characterizing and Optimizing LLM Inference with Scalable Matrix Extensions
• Title（参考訳）: SMEPilot:スケーラブルマトリックス拡張を用いたLLM推論のキャラクタリゼーションと最適化
• Authors: Feiyang Chen, Haibo Chen,
• Abstract要約: 本稿では,各演算子形状に対して,CPUのみ,SMEのみ,あるいは協調的なSME+CPU実行を選択する推論エンジンであるSMEPilotを提案する。 Llama-3.2-3B、Qwen3-4B、Qwen3-30BA3Bの他、電話、PC、サーバプラットフォームにおいて、SMEPilotはエンドツーエンドの推論性能を最大3.94$times$で改善している。
• 参考スコア（独自算出の注目度）: 6.053350140406994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern CPUs increasingly integrate matrix extensions, such as Arm Scalable Matrix Extension (SME), that provide high-throughput matrix execution within the CPU. For LLM inference, however, these units are not a universal replacement for conventional CPU cores: prefill, decode, attention, and KV-cache operations expose different arithmetic intensities, vector behavior, and layout requirements, while SME units and CPU cores still compete for shared memory bandwidth. This paper studies this mismatch through a roofline-based characterization of SME-enabled CPUs and uses the resulting model to guide operator-level execution choices. We present SMEPilot, an LLM inference engine that selects CPU-only, SME-only, or cooperative SME+CPU execution for each operator shape. SMEPilot partitions matrix work across SME and CPU cores at tile granularity, overlaps SME-suitable matrix stages with CPU-suitable vector stages in attention, and maintains layout state so packed tensor representations are reused rather than repeatedly rebuilt on critical paths. Across Llama-3.2-3B, Qwen3-4B, and Qwen3-30BA3B on phone, PC, and server platforms, SMEPilot improves end-to-end inference performance by up to 3.94$\times$.
• Abstract（参考訳）: 現代のCPUは、CPU内で高スループットマトリクス実行を提供するArm Scalable Matrix Extension (SME)のような行列拡張を統合している。 プリフィル、デコード、アテンション、KVキャッシュ操作は異なる演算強度、ベクトルの振る舞い、レイアウト要求を露呈するが、SMEユニットとCPUコアは共有メモリ帯域幅で競合する。 本稿では,このミスマッチを,SME対応CPUの屋上モデルによる特徴付けを通じて検討し,演算子レベルの実行選択を導出する。 演算子形状毎にCPUのみ,SMEのみ,あるいは協調的なSME+CPU実行を選択するLLM推論エンジンであるSMEPilotを提案する。 SMEPilotパーティショニングマトリックスは、SMEおよびCPUコア間のタイル粒度で動作し、SMEに適したマトリックスステージとCPUに適したベクトルステージの重なり合い、レイアウト状態を維持するため、重要な経路で繰り返し再構築されるのではなく、テンソル表現が再利用される。 Llama-3.2-3B、Qwen3-4B、Qwen3-30BA3Bの他、電話、PC、サーバプラットフォームにおいて、SMEPilotはエンドツーエンドの推論性能を最大3.94$\times$まで改善する。

関連論文リスト

• Ragged Paged Attention: A High-Performance and Flexible LLM Inference Kernel for TPU [3.9009842917937534]
  我々はGoogleのTPUのための高性能で柔軟なアテンションカーネルであるRPA(Ragged Paged Attention)を提示する。 RPAはデコードで最大86%のメモリ帯域利用率(MBU)、プリフィルで73%のモデルFLOPs利用率(MFU)を達成する。
  論文  参考訳（メタデータ） (2026-04-16T18:30:13Z)
• CUTEv2: Unified and Configurable Matrix Extension for Diverse CPU Architectures with Minimal Design Overhead [10.813246578469942]
  マトリックス拡張は、AIワークロードの急増する要求に対処するために、現代のCPUに不可欠な機能として登場した。 本稿では,CPU行列拡張アーキテクチャの統一化とカスタマイズについて述べる。 このアーキテクチャは4つのオープンソースのCPU RTLプラットフォームに統合され、代表的AIモデルで評価される。
  論文  参考訳（メタデータ） (2026-04-13T15:21:55Z)
• Mirage Persistent Kernel: A Compiler and Runtime for Mega-Kernelizing Tensor Programs [17.461191811780722]
  Mirage Persistent Kernel (MPK)は、マルチGPUモデル推論を自動的に1つの高性能メガカーネルに変換する最初のコンパイラおよびランタイムシステムである。 MPKはSMレベルのグラフ表現を導入し、個々のストリーミングマルチプロセッサの粒度でデータの依存関係をキャプチャする。 MPKは、エンド・ツー・エンドのレイテンシを最大1.7倍に減らし、既存のカーネル・パー・オペレーショナル・サービスシステムより大幅に優れている。
  論文  参考訳（メタデータ） (2025-12-22T14:18:20Z)
• Highly Optimized Kernels and Fine-Grained Codebooks for LLM Inference on Arm CPUs [0.8217552831952]
  大きな言語モデル(LLM)は、言語理解と生成に関する考え方を変えました。 LLM量子化によく使われるグループ量子化形式は、計算上のオーバーヘッドとリソース集約型量子化プロセスを持つ。 本稿では,LLMの超低精度量子化のためのグループワイド非一様符号ブックに基づく量子化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:44:29Z)
• Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
  FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。 バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
  論文  参考訳（メタデータ） (2024-07-15T17:55:42Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Understanding Cache Boundness of ML Operators on ARM Processors [0.0]
  これは、組み込みARMプロセッサの基本ハードウェア限界と比較して、TVMで生成された高密度および畳み込み演算子に関する最初の詳細な分析である。 単一精度の一般行列乗算(GEMM)と畳み込みはL1-cache-readバンド幅で結合される。 8ビットおよびビットシリアル量子化作用素の探索は、量子化が関連するスピードアップを達成するために使用できることを示している。
  論文  参考訳（メタデータ） (2021-02-01T16:05:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。