論文の概要: On the Compressibility of Quantized Large Language Models
- arxiv url: http://arxiv.org/abs/2403.01384v1
- Date: Sun, 3 Mar 2024 03:27:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 21:47:09.219783
- Title: On the Compressibility of Quantized Large Language Models
- Title（参考訳）: 量子化大型言語モデルの圧縮性について
- Authors: Yu Mao, Weilan Wang, Hongchao Du, Nan Guan, and Chun Jason Xue
- Abstract要約: 大規模言語モデル(LLM)は、エッジまたはモバイルデバイスにデプロイされ、データプライバシとリアルタイム処理機能を提供する。
LLMは、エッジやモバイルデバイスの限られたメモリに完全に収まるには大きすぎるかもしれないし、推論を完了するには、部分的にストレージからロードする必要がある。
データ圧縮技術を適用してデータ移動を減らし、メモリ制約デバイス上での量子化LDMの推論を高速化する。
- 参考スコア（独自算出の注目度）: 13.443384050034922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying Large Language Models (LLMs) on edge or mobile devices offers
significant benefits, such as enhanced data privacy and real-time processing
capabilities. However, it also faces critical challenges due to the substantial
memory requirement of LLMs. Quantization is an effective way of reducing the
model size while maintaining good performance. However, even after
quantization, LLMs may still be too big to fit entirely into the limited memory
of edge or mobile devices and have to be partially loaded from the storage to
complete the inference. In this case, the I/O latency of model loading becomes
the bottleneck of the LLM inference latency. In this work, we take a
preliminary step of studying applying data compression techniques to reduce
data movement and thus speed up the inference of quantized LLM on
memory-constrained devices. In particular, we discussed the compressibility of
quantized LLMs, the trade-off between the compressibility and performance of
quantized LLMs, and opportunities to optimize both of them jointly.
- Abstract（参考訳）: エッジやモバイルデバイスにLLM(Large Language Models)をデプロイすることは、データプライバシの強化やリアルタイム処理機能など、大きなメリットを提供する。
しかし、LLMのメモリ要求がかなり大きいため、重大な問題に直面している。
量子化は、優れた性能を維持しながらモデルサイズを減らす効果的な方法である。
しかし、量子化後も、LLMはエッジやモバイルデバイスの限られたメモリに完全に収まるには大きすぎるため、推論を完了するには部分的にストレージからロードする必要がある。
この場合、モデルローディングのI/OレイテンシはLLM推論遅延のボトルネックとなる。
本研究では,データ圧縮技術を適用してデータ移動を減らし,メモリに制約のあるデバイス上での量子化LDMの推論を高速化する。
特に,量子化llmの圧縮性,量子化llmの圧縮性と性能のトレードオフ,両者を共同で最適化する機会について論じた。
関連論文リスト
- Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。
微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。
これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
論文 参考訳（メタデータ） (2025-02-01T04:18:28Z) - Activation Sparsity Opportunities for Compressing General Large Language Models [4.5624217435826]
この研究は、最先端AIモデルにおけるアクティベーション空間の強制とパープレキシティ(精度)のトレードオフを体系的に調査する。
実験により,重要なFFN成分に対する主記憶の約50%と計算量の削減を無視可能な精度劣化で達成できることが実証された。
論文 参考訳（メタデータ） (2024-12-13T02:26:54Z) - Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。
バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
論文 参考訳（メタデータ） (2024-07-15T17:55:42Z) - SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。
既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。
本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:21:48Z) - LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。
本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文 参考訳（メタデータ） (2024-05-09T11:49:05Z) - A Comprehensive Evaluation of Quantization Strategies for Large Language Models [42.03804933928227]
大規模言語モデル(LLM)におけるパラメータの数を増やすことで、ダウンストリームタスクのパフォーマンスが向上するが、計算とメモリコストが上昇する。
モデルウェイトやアクティベーションに必要なビットを最小性能で削減する量子化技術が普及している。
本稿では,知識とキャパシティ,(2)アライメント,(3)効率の3つの重要な次元からなる構造化評価フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-26T17:45:36Z) - Any-Precision LLM: Low-Cost Deployment of Multiple, Different-Sized LLMs [3.450141240227484]
大規模言語モデル(LLM)の任意の精度量子化のための軽量な手法を提案する。
我々のソリューションは、複数の異なるサイズのLCMをデプロイする際のコストを大幅に削減します。
ビット幅の異なる全てのLLMは、最先端のモデル品質と推論スループットを示している。
論文 参考訳（メタデータ） (2024-02-16T09:06:06Z) - ApiQ: Finetuning of 2-Bit Quantized Large Language Model [12.328293460903911]
ApiQは、LoRAコンポーネントを並列に初期化し、LLMの重みを定量化することで、失われた情報を量子化から復元するように設計されている。
様々なビット幅にわたって優れた微調整結果が得られる。
論文 参考訳（メタデータ） (2024-02-07T09:36:54Z) - BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。
LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
論文 参考訳（メタデータ） (2024-02-06T09:26:34Z) - Memory-Efficient Fine-Tuning of Compressed Large Language Models via
sub-4-bit Integer Quantization [27.79783067245817]
大規模言語モデル(LLM)は、高いメモリ要求と計算コストのため、微調整とデプロイメントの課題に直面している。
本稿では,PEFT と量子化 LLM の利点を組み合わせた簡易かつ効果的な手法である PEQA (Efficient Adaptation and Quantization-aware) を提案する。
論文 参考訳（メタデータ） (2023-05-23T15:20:01Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。