論文の概要: User-Schedulable Approximations for Quantized Tensor Programs
- arxiv url: http://arxiv.org/abs/2611.17526v1
- Date: Thu, 12 Nov 2026 21:25:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.261735
- Title: User-Schedulable Approximations for Quantized Tensor Programs
- Title(参考訳): 量子化テンソルプログラムのためのユーザスケジューリング可能近似
- Abstract要約: 量子化により、言語モデルはエッジデバイス上で実行されるが、ライブラリが維持しなければならないテンソルカーネルの数を大幅に増加させる。
GGMLでは、ラマが使用するテンソルライブラリであるこれらのカーネルは手書きで書かれており、Arm CPU上で実行される54の重量活性化ペアのうち8つだけが、タイル付き行列乗算カーネルを持っている。
新しいディレクティブである almost_by は、プログラムの1つのステージにCPUを適用し、Halide がスケジュールできる通常のステージとしてエンコーダとデコーダを返す。
- 参考スコア(独自算出の注目度): 0.16921396880325779
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Quantization lets language models run on edge devices, but it sharply increases the number of tensor kernels a library must maintain: every weight format must be paired with every activation format on every instruction set and GPU, with an encoder and a decoder that agree on the stored bytes. In GGML, the tensor library used by llama.cpp, these kernels are written by hand, and only 8 of the 54 weight-activation pairs it runs on our Arm CPU have a tiled matrix-multiplication kernel. We extend Halide's separation of algorithm and schedule to the representation of values. Each approximation is a codec, an encoder paired with a decoder, composed from reusable units: quantizers, integer representations, bit packers and layouts. A new directive, approximate_by, applies a codec to one stage of a program and returns the encoder and decoder as ordinary stages that Halide can schedule, so both decoders fuse into the register tiles of a matrix product. Optional contracts, such as a round-trip law, are checked by property tests; the law exposed an inconsistent block sum in GGML's q8_1. One algorithm and one schedule library generate 347 kernels for 31 of GGML's and KleidiAI's formats on Arm CPUs and Apple GPUs, covering 38 weight-activation pairs for which GGML has no kernel, in 3.7x less code than GGML and KleidiAI. On an Apple M3 Max, our kernels reach at least 95% of the speed of GGML's format-specific kernels in 91.0% of the cases that have one, with a median speedup of 1.13x, and are faster still where GGML falls back to blocked dot products. Counting Apple's BLAS library, which is usually faster for larger f32 products, we still reach that threshold in 86.9% of CPU cases. A port to x86 with Intel's AMX adds 793 lines of code and matches GGML in 83.5% of its cases.
- Abstract(参考訳): 量子化により、言語モデルはエッジデバイス上で実行されるが、ライブラリが維持しなければならないテンソルカーネルの数を大幅に増加させる。
llama.cppが使用するテンソルライブラリであるGGMLでは、これらのカーネルは手書きであり、Arm CPU上で実行される54の重み付けペアのうち8つだけが、タイル付き行列乗算カーネルを持っている。
我々はHalideのアルゴリズムとスケジュールの分離を値の表現にまで拡張する。
それぞれの近似はコーデックであり、デコーダとペアのエンコーダであり、再利用可能な単位である量子化器、整数表現、ビットパッカー、レイアウトで構成されている。
新しいディレクティブである almost_by はプログラムの1つのステージにコーデックを適用し、エンコーダとデコーダをHalide がスケジュールできる通常のステージとして返します。
ラウンドトリップ法のようなオプション契約は、プロパティテストによってチェックされ、法則はGGMLのq8_1の矛盾したブロック和を露呈した。
1つのアルゴリズムと1つのスケジュールライブラリは、GGMLの31のカーネルと、Arm CPUとApple GPU上のKleidiAIのフォーマットに対して347のカーネルを生成し、GGMLがカーネルを持たない38のウェイトアクティベーションペアをGGMLやKleidiAIより3.7倍少ないコードでカバーしている。
Apple M3 Maxでは、我々のカーネルはGGMLのフォーマット固有のカーネルの91.0%の速度で少なくとも95%に達する。
AppleのBLASライブラリは、大きめのf32製品では高速だが、それでも86.9%のCPUケースでその閾値に達している。
IntelのAMXによるx86への移植では、793行のコードが追加され、83.5%のケースでGGMLと一致している。
関連論文リスト
- RLX: A Unified Multi-Backend Tensor Compiler and Distributed Runtime in Rust [3.1672987408200384]
RLXは1つのプリミティブレベル、3レベル中間表現(IR)に関するコンパイラとランタイムの役割を組み合わせる
RLXはまた、スパースおよび密度線型代数拡張を通じて、科学/物理学スタイルの領域にも拡張する。
論文 参考訳(メタデータ) (2026-09-29T16:09:48Z) - SparseDitto: Customizing GPU Kernels for Different Sparsity Patterns with LLM-Based Agentic System [45.52961410486319]
本稿では,各行列,演算子,ターゲットGPU用のGPUカーネルを構築するLLMベースのシステムであるSparseDittoを提案する。
SparseDittoは、統一設計フレームワークでSpMV、SpMM、SpGEMMをサポートする。
生成されたSpMMカーネルは、最大3.39倍のフルバッチGCNトレーニングを加速する。
論文 参考訳(メタデータ) (2026-08-05T16:41:03Z) - Reducing Data Movement in the Galerkin Product of Block Algebraic Multigrid on GPUs [0.0]
3Dの弾力性のために、ファインオペレーターは3倍の3倍の3倍の3倍の3倍の3倍の3倍の6倍の6倍の6倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の幅を持つ。
共有メモリ型カーネルを検索不要なソートスケジュールで提供し、ポータブルなKokkosチームカーネルの半数以下でバイト数を減らした。
論文 参考訳(メタデータ) (2026-07-30T23:17:29Z) - FuseSampleAgg: Fused Neighbor Sampling and Aggregation for Mini-batch GNNs [51.56484100374058]
FuseSampleAggは、隣人の平均アグリゲーションをGraphSAGEの1つのパスにフューズし、サンプリングする。
Operatorは決定論的であり、標準のPyTorchと統合され、CSVログからすべてのテーブルとフィギュアを再現するスクリプトが同梱されている。
論文 参考訳(メタデータ) (2025-11-17T17:57:18Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳(メタデータ) (2025-09-30T16:32:52Z) - CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。
まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。
提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
論文 参考訳(メタデータ) (2025-06-23T17:50:11Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳(メタデータ) (2024-05-28T22:19:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。