論文の概要: FairyFuse: Multiplication-Free LLM Inference on CPUs via Fused Ternary Kernels

• arxiv url: http://arxiv.org/abs/2604.20913v1
• Date: Wed, 22 Apr 2026 02:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.090578
• Title: FairyFuse: Multiplication-Free LLM Inference on CPUs via Fused Ternary Kernels
• Title（参考訳）: FairyFuse: 融合3次カーネルによるCPU上のマルチプリケーションフリーLLM推論
• Authors: Fei Zuo, Xiaoyan Xi, Quanyi Zeng, Feiyu Wang, Ho Fai Leung,
• Abstract要約: 提案するFairyFuseは,コモディティCPU上での乗算不要な実行を可能にする推論システムである。 ルーフライン解析により、16倍の重み圧縮により、メモリバウンドGEMVは帯域幅制限CPUの計算系にシフトすることが示された。 エンドツーエンドでは、FairyFuseは1つのIntel Xeon 8558Pで毎秒32.4トークンを獲得し、ラマを上回っている。
• 参考スコア（独自算出の注目度）: 2.339485034137561
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models are increasingly deployed on CPU-only platforms where memory bandwidth is the primary bottleneck for autoregressive generation. Weight quantization to four bits or below reduces memory pressure, yet existing systems still dequantize weights and perform floating-point multiplications, limiting the achievable gains. Ternary weights in {-1, 0, +1} provide a more efficient alternative, replacing multiplications with conditional additions, subtractions, or no-ops. While Fairy2i shows that ternary LLMs can match FP16 quality, its runtime does not exploit this structure. We present FairyFuse, an inference system that enables multiplication-free execution on commodity CPUs by fusing the eight real-valued sub-GEMVs of each widely-linear layer into a single AVX-512 loop using masked additions and subtractions, with zero floating-point multiplications. Roofline analysis shows that 16x weight compression shifts memory-bound GEMV toward the compute regime on bandwidth-limited CPUs, yielding a 29.6x kernel speedup while offering little benefit on GPUs. End-to-end, FairyFuse achieves 32.4 tokens per second on a single Intel Xeon 8558P, outperforming llama.cpp Q4_K_M by 1.24x with near-lossless quality (WikiText-2 perplexity 5.52 vs. 5.47 FP16; downstream accuracy 66.0%).
• Abstract（参考訳）: 大規模な言語モデルは、メモリ帯域幅が自動回帰生成の主要なボトルネックとなるCPUのみのプラットフォームにますますデプロイされている。 4ビット以下の重みの量子化はメモリの圧力を減少させるが、既存のシステムは依然として重みを減らし、浮動小数点乗算を行い、達成可能な利得を制限する。 {-1, 0, +1} の第三次重みはより効率的な代替となり、乗法を条件付き加算、減算、ノーオプスに置き換える。 Fairy2i は 3 つの LLM が FP16 の品質にマッチすることを示したが、そのランタイムはこの構造を利用していない。 本稿では,FairyFuseを提案する。FairyFuseは,広帯域層内の8つの実数値サブGEMVを,マスク付加算とサブトラクションを用いて1つのAVX-512ループに融合し,浮動小数点乗算をゼロにすることで,コモディティCPU上での乗算不要な実行を可能にする推論システムである。 Roofline分析によると、16倍の重み付け圧縮により、メモリバウンドGEMVは帯域幅制限CPUの計算系にシフトし、29.6倍のカーネル高速化を実現し、GPUの利点はほとんどない。 エンドツーエンドでは、FairyFuseは1つのIntel Xeon 8558Pで毎秒32.4トークンを達成し、ラマ.cpp Q4_K_Mを1.24倍に上回っている(WikiText-2 perplexity 5.52 vs. 5.47 FP16、下流精度66.0%)。

関連論文リスト

• Fast NF4 Dequantization Kernels for Large Language Model Inference [10.293114205183166]
  大規模言語モデル(LLM)は、単一のGPUデバイスのメモリ容量を超えて成長している。 NF4 (4-bit NormalFloat)量子化は4$times$メモリの削減を可能にするが、FP16フォーマットに戻すには高価な量子化を必要とする。 本稿では,このギャップに対応する軽量な共有メモリ最適化手法を提案する。
  論文  参考訳（メタデータ） (2026-04-02T22:15:57Z)
• FPGA Co-Design for Efficient N:M Sparse and Quantized Model Inference [0.8749675983608171]
  大規模言語モデル(LLM)は、幅広い言語処理タスクにおいて顕著な性能を示している。 この研究は、ウェイトプルーニングと低ビット量子化を活用する自動化フレームワークを導入している。 本研究では,FPGA(Field-Programmable Gate Array)プラットフォーム上でアクセラレータを生成するハードウェア・ソフトウェア共同設計手法を提案する。
  論文  参考訳（メタデータ） (2025-12-31T08:27:40Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• APT-LLM: Exploiting Arbitrary-Precision Tensor Core Computing for LLM Acceleration [5.075697428779204]
  大規模言語モデル(LLM)は、AIアプリケーションに革命をもたらしたが、その膨大な計算要求は、デプロイメントとリアルタイムのパフォーマンスを著しく制限している。 これは主にGPU Coreの限定的なサポート、非効率なメモリ管理、非フレキシブルなカーネル最適化が原因である。 本稿では,任意の精度のLLM,すなわちAPT-LLMに対する包括的加速法を提案する。
  論文  参考訳（メタデータ） (2025-08-26T14:48:29Z)
• COMET: Towards Partical W4A4KV4 LLMs Serving [37.30529940231099]
  量子化は、端末デバイスやクラウドデータセンターで大規模言語モデル(LLM)を提供するオーバーヘッドを低減するための圧縮技術である。 本稿では,ほとんどのアクティベーションを4ビットに圧縮し,精度損失を無視できる新しい混合精度量子化アルゴリズム(FMPQ)を提案する。 我々は、最適化されたW4Axカーネルを推論フレームワークCOMETに統合し、人気のあるLLMをサポートするための効率的な管理を提供する。
  論文  参考訳（メタデータ） (2024-10-16T02:16:53Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving [52.31791050376249]
  量子化は大規模言語モデル(LLM)の推論を加速させる。 4ビット重み、8ビットアクティベーション、4ビットKVキャッシュを備えたW4A8KV4量子化アルゴリズムQoQを導入する。 QServeは、Llama-3-8BをA100で1.2倍、L40Sで1.4倍、Qwen-721.5BをA100で2.4倍、L40Sで3.5倍、達成可能な最大機能を改善する。
  論文  参考訳（メタデータ） (2024-05-07T17:59:30Z)
• SmoothQuant+: Accurate and Efficient 4-bit Post-Training WeightQuantization for LLM [13.035063417593534]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示している。 現在、4ビット後の量子化(PTQ)はLLMである程度の成功を収めている。 SmoothQuant+は4ビットの重みのみのPTQである。
  論文  参考訳（メタデータ） (2023-12-06T11:10:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。