論文の概要: L4Q: Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models

• arxiv url: http://arxiv.org/abs/2402.04902v4
• Date: Mon, 28 Oct 2024 04:41:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:46.961133
• Title: L4Q: Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models
• Title（参考訳）: L4Q: 大規模言語モデルにおけるパラメータの量子化効率を考慮したファインチューニング
• Authors: Hyesung Jeon, Yulhwa Kim, Jae-joon Kim,
• Abstract要約: 量子化学習(QAT)とローランド適応(LoRA)を統合し,量子化誤差を効果的に低減する手法であるL4Qを提案する。 メモリ最適化層設計を採用することで、L4QはQATのメモリオーバーヘッドを大幅に削減し、完全な量子化重みを生成する。
• 参考スコア（独自算出の注目度）: 5.304907804008533
• License:
• Abstract: Due to the high memory and computational costs associated with large language models (LLMs), model compression techniques such as quantization, which reduces inference costs, and parameter-efficient fine-tuning (PEFT) methods like Low-Rank Adaptation (LoRA), which reduce training costs, have gained significant popularity. This trend has spurred active research into quantization-aware PEFT techniques, aimed at maintaining model accuracy while minimizing memory overhead during both inference and training. Previous quantization-aware PEFT methods typically follow a two-step approach: first, applying post-training quantization (PTQ) to model weights, followed by PEFT on the quantized model. However, recovering from the quantization error introduced by PTQ through fine-tuning has proven challenging. Additionally, most PTQ-based PEFT methods result in a mixture of low-precision quantized weights and high-precision adapter weights, limiting the efficiency of full quantization during inference. While a previous method attempted to address these issues, it still suffers from limited adaptability due to the constrained LoRA parameter structure required to produce fully-quantized models. To overcome these challenges, we propose L4Q, a method that integrates Quantization-Aware Training (QAT) with LoRA to effectively reduce quantization error. By employing a memory-optimized layer design, L4Q significantly reduces QAT's memory overhead while producing fully-quantized weights, enabling effective adaptation to downstream tasks. Our experiments demonstrate that this combined approach to quantization and fine-tuning achieves superior accuracy compared to decoupled fine-tuning schemes, particularly in sub-4-bit quantization, positioning L4Q as an efficient QAT solution. Using the LLaMA model families and instructional datasets, we showcase L4Q's capabilities in language tasks and few-shot learning.
• Abstract（参考訳）: 大規模言語モデル(LLM)に関連する高メモリと計算コストのため、推論コストを削減した量子化などのモデル圧縮技術や、トレーニングコストを削減したLo-Rank Adaptation (LoRA)のようなパラメータ効率のよい微調整(PEFT)手法が広く普及している。 この傾向は、推論とトレーニングの双方におけるメモリオーバーヘッドを最小限に抑えながら、モデルの精度を維持することを目的とした、量子化対応PEFT技術の研究を活発に進めている。 従来の量子化を意識したPEFT法は、一般に2段階のアプローチを踏襲する: まず、重量をモデル化するためにPTQ(Post-training Quantization)を適用する。 しかし、PTQによって導入された量子化誤差から微調整によって回復することは困難であることが証明された。 さらに、ほとんどのPTQベースのPEFT法は、低精度の量子化重みと高精度のアダプタ重みを混合し、推論時の完全量子化の効率を制限している。 従来の手法ではこれらの問題に対処しようとしたが、完全に量子化されたモデルを生成するのに必要な制約付きLoRAパラメータ構造のために適応性が制限されている。 これらの課題を克服するため,量子化学習(QAT)をLoRAと統合し,量子化誤差を効果的に低減する手法であるL4Qを提案する。 メモリ最適化層設計を採用することで、L4QはQATのメモリオーバーヘッドを大幅に削減し、完全に量子化された重みを発生させ、下流タスクへの効果的な適応を可能にする。 この量子化法と微調整法の組み合わせは,特にサブ-4ビット量子化において,L4Qを効率的なQAT解として位置づけることにより,分離された微調整法に比べて精度が向上することを示した。 LLaMAモデルファミリと命令データセットを用いて,L4Qの言語タスクと少数ショット学習能力を示す。

関連論文リスト

• Towards Efficient Pre-training: Exploring FP4 Precision in Large Language Models [25.700481606604647]
  実験により,我々のFP4トレーニング手法は,理論計算コストを小さくして,BF16とFP8に匹敵する精度を達成できた。 FP4をサポートする次世代ハードウェアの登場に伴い,本手法は効率的な超低精度トレーニングの基礎となる。
  論文  参考訳（メタデータ） (2025-02-17T05:33:11Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [95.32315448601241]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• Low-Rank Quantization-Aware Training for LLMs [8.535254310145005]
  大規模言語モデル(LLM)は、一様だが、計算とメモリの需要がますます増大しているため、その実践的な展開は困難である。 LLMのための軽量かつメモリ効率のQATアルゴリズムであるLR-QATを提案する。 提案手法は、PTQ(Common-training Quantization)アプローチよりも優れ、メモリ使用率のごく一部でフルモデルQATと同じモデル性能に達する。
  論文  参考訳（メタデータ） (2024-06-10T15:44:22Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• Oh! We Freeze: Improving Quantized Knowledge Distillation via Signal Propagation Analysis for Large Language Models [5.69541128149828]
  大規模言語モデル(LLM)や拡散モデルといった大規模な生成モデルは、それぞれNLPとコンピュータビジョンの分野に革命をもたらした。 本研究では, 知識蒸留(KD-QAT)を用いた軽量量子化対応微調整技術を提案し, 4ビット量化LDMの性能向上を図る。 我々は, ovフリーズがほぼ浮動小数点精度, すなわちCommonsense Reasoningベンチマークにおいて0.7%未満の精度で精度を低下させることを示す。
  論文  参考訳（メタデータ） (2024-03-26T23:51:44Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Memory-Efficient Fine-Tuning of Compressed Large Language Models via sub-4-bit Integer Quantization [27.79783067245817]
  大規模言語モデル(LLM)は、高いメモリ要求と計算コストのため、微調整とデプロイメントの課題に直面している。 本稿では,PEFT と量子化 LLM の利点を組み合わせた簡易かつ効果的な手法である PEQA (Efficient Adaptation and Quantization-aware) を提案する。
  論文  参考訳（メタデータ） (2023-05-23T15:20:01Z)
• Towards Efficient Post-training Quantization of Pre-trained Language Models [85.68317334241287]
  PLMのポストトレーニング量子化(PTQ)について検討し,モジュール単位の量子化誤差最小化(MREM)を提案する。 GLUEとSQuADベンチマークの実験により、提案したPTQソリューションはQATに近く動作するだけでなく、トレーニング時間、メモリオーバーヘッド、データ消費を大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-09-30T12:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。