論文の概要: BitLLM: Efficient Low-Bit, Conversion-Hiding LLM Decoding on Mobile GPUs
- arxiv url: http://arxiv.org/abs/2611.00547v1
- Date: Sat, 31 Oct 2026 02:13:33 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:31:42.525409
- Title: BitLLM: Efficient Low-Bit, Conversion-Hiding LLM Decoding on Mobile GPUs
- Title（参考訳）: BitLLM: モバイルGPU上での効率的な低ビット変換型LLMデコーディング
- Abstract要約: BitLLMは、型変換のオーバーヘッドに対処し、量子化LDMにおける最適メモリアクセスに対処するモバイル推論エンジンである。
提案手法は,KVキャッシュに適応的なレイアウトとパッケージング戦略を特徴とし,デコード全体を通して効率的なメモリアクセスを実現する。
- 参考スコア（独自算出の注目度）: 15.444947163679608
- License:
- Abstract: The rapid scaling of large language models (LLMs) has unlocked remarkable capabilities across various domains. However, deploying LLMs on mobile devices remains challenging because of their high computational and memory requirements. Low-bit quantization (e.g., 4-bit weights, 8-bit activations) can reduce model size while preserving accuracy, but its practical efficacy on mobile GPUs has been limited so far. In this paper, we identify that the performance gap stems primarily from frequent data type conversions between quantized and floating-point values, and dynamic and inefficient memory access patterns caused by the growing Key-Value (KV) cache during autoregressive decoding. We introduce BitLLM, a mobile inference engine that addresses type conversion overhead and suboptimal memory accesses in quantized LLMs. Our approach features an adaptive layout and packing strategy for the KV cache that ensures efficient memory access throughout LLM decoding. This is coupled with an integer-native execution pipeline that defers and overlaps type conversion outside the compute hot path, keeping the critical MatMul stages in the integer domain. Implemented on off-the-shelf mobile GPUs, BitLLM outperforms leading engines, i.e., LLAMA.CPP, MNN-LLM, LiteRT-LM, and MLC-LLM, achieving average speedups of 1.78$\times$, 1.73$\times$, 1.58$\times$, and 1.47$\times$, respectively, across various models and quantization levels. Under long-context generation, BitLLM reduces average energy consumption (per token) by up to 88.9%.
- Abstract（参考訳）: 大規模言語モデル(LLM)の急激なスケーリングは、様々な領域で顕著な能力を解放した。
しかし、計算量やメモリの要求が高いため、モバイルデバイスにLSMをデプロイすることは依然として困難である。
低ビット量子化(例:4ビットの重み、8ビットのアクティベーション)は精度を維持しながらモデルサイズを削減できるが、モバイルGPUにおける実用的有効性は制限されている。
本稿では、量子化値と浮動小数点値の間の頻繁なデータ型変換と、自己回帰復号化時に増大するキー値(KV)キャッシュに起因する動的かつ非効率なメモリアクセスパターンから、パフォーマンスギャップが主に生じることを同定する。
本稿では,型変換のオーバーヘッドに対処するモバイル推論エンジンBitLLMを紹介する。
提案手法は,LLMデコード全体のメモリアクセスを効率よく確保する,KVキャッシュの適応レイアウトとパッケージング戦略を特徴とする。
これは整数ネイティブな実行パイプラインと結合され、計算ホットパスの外で型変換をフェールし、重複させ、重要なMatMulステージを整数ドメインに保持する。
市販のモバイルGPU上で実装されたBitLLMは、LLAMA.CPP、MNN-LLM、LiteRT-LM、MLC-LLMといった主要なエンジンより優れており、平均速度は1.78$\times$、1.73$\times$、1.58$\times$、1.47$\times$である。
長文生成では、BitLLMは平均消費エネルギー(トークン単位)を最大88.9%削減する。
関連論文リスト
- LLM Inference in a Flash! [66.43896490006965]
大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。
我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
論文 参考訳（メタデータ） (2026-09-14T18:04:30Z) - CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。
まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。
提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
論文 参考訳（メタデータ） (2025-06-23T17:50:11Z) - 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。
圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
論文 参考訳（メタデータ） (2025-04-15T22:38:38Z) - BitMoD: Bit-serial Mixture-of-Datatype LLM Acceleration [7.774285511386959]
大規模言語モデル(LLM)は、さまざまな機械学習タスクで顕著なパフォーマンスを示している。
しかし、LLMのかなりのメモリフットプリントは、そのデプロイメントを著しく妨げている。
我々は,アルゴリズムとハードウェアの共同設計ソリューションであるBitMoDを用いて,LLMのアクセシビリティを向上させる。
論文 参考訳（メタデータ） (2024-11-18T17:16:58Z) - Scalable MatMul-free Language Modeling [9.048532540945086]
MatMul操作は、大きな言語モデルから除外できる。
最大2.7BパラメータのモデルでテストされるMatMulフリーモデルは、最先端のトレーニング済みトランスフォーマーに匹敵する。
論文 参考訳（メタデータ） (2024-06-04T17:50:34Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z) - LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。
175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
論文 参考訳（メタデータ） (2022-08-15T17:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。