論文の概要: TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs

• arxiv url: http://arxiv.org/abs/2606.11357v1
• Date: Tue, 09 Jun 2026 18:33:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.142258
• Title: TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs
• Title（参考訳）: TileFuse: AMD NPU上での効率的な量子化LLM推論のための混合精密カーネルライブラリ
• Authors: Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen,
• Abstract要約: TileFuseはAMD XDNA2 NPU用のカーネルライブラリで、量子化LDM推論においてトランスフォーマー線形層をターゲットにしている。 GEMMでは最大121.6%、GEMVでは281%の性能向上を実現している。 エンドツーエンドのAI実験では、TileFuseは、64.6%以上の消費電力で、最大で2.0倍のプリフィルレイテンシを実現する。
• 参考スコア（独自算出の注目度）: 9.918093009280515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the growing demand for on-device LLM inference, edge SoCs increasingly integrate NPUs to improve performance and energy efficiency under tight power and thermal budgets. However, practical LLM deployment on current client NPUs remains difficult: widely used quantization formats such as AWQ do not map cleanly onto many existing NPU software stacks, which are often proprietary and expose limited low-level control. In this work, we present \textit{TileFuse}, a close-to-metal mixed-precision kernel library for AMD XDNA2 NPUs that targets transformer linear layers in quantized LLM inference. TileFuse brings practical low-bit formats such as AWQ-style W4A16 and W8A16 directly onto XDNA2, rather than forcing the model to be reshaped around an NPU-specific quantization scheme. TileFuse co-designs weight layout, metadata placement, mixed-precision microkernels, and array-level dataflow. Specifically, it fuses unpacking, dequantization, and GEMM/GEMV execution into a single kernel flow, introduces an interleaved pre-tiling layout that supports GEMM dimensions up to 32K, and redesigns GEMV dataflow to utilize the full 4x8 AIE array. Across kernel-level evaluations, TileFuse improves performance by up to 121.6% for GEMM and 281% for GEMV over full-precision baselines, while delivering more than 2x performance and energy-efficiency gains over strong iGPU baselines on GEMM. In end-to-end LLM experiments on Ryzen AI laptops, TileFuse achieves up to 2.0x lower prefilling latency with more than 64.6% lower energy consumption. Together, these results show that XDNA2 is a practical target for AWQ-style edge LLM inference and that native NPU support for off-the-shelf quantization can make NPUs substantially more usable in real client deployments.
• Abstract（参考訳）: デバイス上でのLCM推論の需要が増大するにつれて、エッジSoCはNPUを統合して、厳格な電力と熱予算の下での性能とエネルギー効率を向上させる。 AWQのような広く使われている量子化フォーマットは、しばしばプロプライエタリであり、限られた低レベル制御を公開する多くの既存のNPUソフトウェアスタックにきれいにマッピングしない。 本研究では, AMD XDNA2 NPU 用の近接-金属混合精度カーネルライブラリである \textit{TileFuse} について述べる。 TileFuse は AWQ スタイルの W4A16 や W8A16 などの実用的な低ビットフォーマットを XDNA2 に直接導入する。 TileFuseは、ウェイトレイアウト、メタデータ配置、混合精度マイクロカーネル、配列レベルのデータフローを共同設計する。 具体的には、アンパック、復号化、GEMM/GEMV実行を単一のカーネルフローに融合させ、GEMM次元を最大32Kまでサポートするインターリーブプレタイルレイアウトを導入し、GEMVデータフローを再設計し、完全な4x8 AIE配列を利用する。 カーネルレベルの評価全体で、TileFuseはGEMMの最大121.6%、GEMVの281%のパフォーマンス向上を実現し、GEMMの強力なiGPUベースラインよりも2倍以上のパフォーマンスとエネルギー効率の向上を実現している。 Ryzen AIラップトップにおけるエンドツーエンドのLCM実験では、TileFuseは64.6%以上のエネルギー消費で、最大で2.0倍のプリフィルレイテンシを実現する。 これらの結果から,XDNA2 は AWQ スタイルのエッジ LLM 推論の実用的なターゲットであり,市販の量子化のためのネイティブな NPU サポートにより,実際のクライアントデプロイメントにおいて NPU を著しく使いやすくすることができることが示された。

関連論文リスト

• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• T-SAR: A Full-Stack Co-design for CPU-Only Ternary LLM Inference via In-Place SIMD ALU Reorganization [7.665240126732136]
  本稿では,CPU上でのスケーラブルな3次LLM推論を実現するための最初のフレームワークであるT-SARを提案する。 T-SARはメモリボトルネックを排除し、データレベルの並列性を最大化し、GEMMレイテンシとGEMVスループットの5.6-24.5xと1.1-86.2xの改善を提供する。 T-SARはNVIDIA Jetson AGX Orinの2.5-4.9倍のエネルギー効率を実現し、エッジプラットフォーム上で効率的なLCM推論のための実践的なアプローチを確立した。
  論文  参考訳（メタデータ） (2025-11-17T18:32:03Z)
• Precision-Scalable Microscaling Datapaths with Optimized Reduction Tree for Efficient NPU Integration [3.146407420010677]
  本稿では, MX MAC に対して, 両方のアプローチの利点を組み合わせた, ハイブリッド精度・スケール可能な削減木を提案する。 我々は、これらのMACの8x8配列を最先端(SotA)のNPU統合プラットフォームであるSNAXに統合し、効率的な制御とデータ転送を提供する。 MXINT8, MXFP8/6, MXFP4のスループットは64, 256, 512 GOPSでそれぞれ657, 1438-1675, 4065 GOPS/Wのエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2025-11-09T10:24:17Z)
• Scaling LLM Test-Time Compute with Mobile NPU on Smartphones [18.50846535848905]
  本稿では,移動型ニューラルプロセッシングユニット (NPU) が計算資源を過小評価していることを示す。 そこで本研究では,モバイルNPUに並列テスト時間スケーリング手法を適用し,小型LLMの性能を向上させることを提案する。 混合精度GEMMは19.0、ソフトマックスは2.2である。
  論文  参考訳（メタデータ） (2025-09-27T14:17:46Z)
• LiquidGEMM: Hardware-Efficient W4A8 GEMM Kernel for High-Performance LLM Serving [16.392977892243895]
  LiquidGEMMは、4ビットの重みと8ビットのアクティベーション量子化のためのハードウェア効率の量子化手法である。 LiquidGEMMは最先端のW4A8カーネル上で最大2.90倍のスピードアップを実現し、最大4.94倍のエンドツーエンドのシステムレベルのスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-09-01T08:16:20Z)
• The Power of Negative Zero: Datatype Customization for Quantized Large Language Models [5.503925076208333]
  学習後の量子化は、大規模言語モデル(LLM)のメモリと計算要求を緩和する最もハードウェア効率の良い方法の1つである。 本稿では,基本FPデータ型を拡張して冗長ゼロリマッピング(RaZeR)を行う。 RaZeRは、負のゼロFPエンコーディングを、FP量子化エンコーディングを最大限活用し、数値分布をよりよく適合させるために、予め定義された特別な値のセットに再マップする。
  論文  参考訳（メタデータ） (2025-01-06T22:40:40Z)
• Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
  FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。 バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
  論文  参考訳（メタデータ） (2024-07-15T17:55:42Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。