論文の概要: DB-LLM: Accurate Dual-Binarization for Efficient LLMs

• arxiv url: http://arxiv.org/abs/2402.11960v1
• Date: Mon, 19 Feb 2024 09:04:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 17:28:33.469125
• Title: DB-LLM: Accurate Dual-Binarization for Efficient LLMs
• Title（参考訳）: DB-LLM:効率の良いLLMのための高精度デュアルバイナライゼーション
• Authors: Hong Chen, Chengtao Lv, Liang Ding, Haotong Qin, Xiabin Zhou, Yifu Ding, Xuebo Liu, Min Zhang, Jinyang Guo, Xianglong Liu, Dacheng Tao
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
• 参考スコア（独自算出の注目度）: 83.70686728471547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have significantly advanced the field of natural language processing, while the expensive memory and computation consumption impede their practical deployment. Quantization emerges as one of the most effective methods for improving the computational efficiency of LLMs. However, existing ultra-low-bit quantization always causes severe accuracy drops. In this paper, we empirically relieve the micro and macro characteristics of ultra-low bit quantization and present a novel Dual-Binarization method for LLMs, namely DB-LLM. For the micro-level, we take both the accuracy advantage of 2-bit-width and the efficiency advantage of binarization into account, introducing Flexible Dual Binarization (FDB). By splitting 2-bit quantized weights into two independent sets of binaries, FDB ensures the accuracy of representations and introduces flexibility, utilizing the efficient bitwise operations of binarization while retaining the inherent high sparsity of ultra-low bit quantization. For the macro-level, we find the distortion that exists in the prediction of LLM after quantization, which is specified as the deviations related to the ambiguity of samples. We propose the Deviation-Aware Distillation (DAD) method, enabling the model to focus differently on various samples. Comprehensive experiments show that our DB-LLM not only significantly surpasses the current State-of-The-Art (SoTA) in ultra-low bit quantization (eg, perplexity decreased from 9.64 to 7.23), but also achieves an additional 20\% reduction in computational consumption compared to the SOTA method under the same bit-width. Our code will be released soon.
• Abstract（参考訳）: 大規模言語モデル (LLM) は自然言語処理の分野を著しく進歩させ、高価なメモリと計算消費は実際の展開を妨げる。 量子化はLLMの計算効率を改善する最も効果的な方法の1つである。 しかし、既存の超低ビット量子化は常に厳しい精度低下を引き起こす。 本稿では,超低ビット量子化のマイクロおよびマクロ特性を実証的に緩和し,新しいデュアルバイナライズ法であるDB-LLMを提案する。 マイクロレベルでは、2ビット幅の精度の利点と2値化の効率の利点を考慮に入れ、フレキシブルデュアルバイナリ化(FDB)を導入する。 2ビットの量子化重みを2つの独立したバイナリに分割することにより、FDBは表現の精度を保証し、超低ビット量子化の固有の高間隔を維持しつつ、二項化の効率的なビットワイズ演算を利用する柔軟性を導入する。 マクロレベルでは、標本のあいまいさに関連する偏差として特定される量子化後のLSMの予測に存在する歪みが分かる。 そこで本研究では, モデルが異なる試料に焦点を合わせ, 脱離認識蒸留 (dad) 法を提案する。 包括的実験により,我々のdb-llmは,超低ビット量子化における現在のsota(state-of-the-art)を大幅に上回るだけでなく,同じビット幅のsota法と比較して計算消費電力がさらに20%減少することを示した。 私たちのコードはまもなくリリースされます。

関連論文リスト

• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• STBLLM: Breaking the 1-Bit Barrier with Structured Binary LLMs [28.70239743254508]
  LLM圧縮のための最初の構造双対化法を1ビット未満の精度で提案する。 バイナライズされたLLMの重みは、性能劣化を伴わずにランダムに反転することができる。 本手法は他の圧縮バイナライズ手法よりも優れた性能を示しながら,メモリ要求を大幅に低減する。
  論文  参考訳（メタデータ） (2024-08-03T15:07:44Z)
• TernaryLLM: Ternarized Large Language Model [29.29122031050894]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを達成した。 本稿では、Dual Learnable Ternarization (DLT)を導入し、スケールとシフトの両方を学習可能にする。 また、極低ビット量子化で失われた情報を復元するために、OFF(Outlier-Friendly Feature Knowledge Distillation)を提案する。
  論文  参考訳（メタデータ） (2024-06-11T11:40:12Z)
• BiSup: Bidirectional Quantization Error Suppression for Large Language Models [13.042992673384466]
  本稿では,双方向量子化誤差抑圧法であるBiSupを紹介する。 BiSupは2つの最先端手法で性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-05-24T08:39:27Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
  トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。 現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。 最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
  論文  参考訳（メタデータ） (2021-11-29T09:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。