論文の概要: ReALLM: A general framework for LLM compression and fine-tuning
- arxiv url: http://arxiv.org/abs/2405.13155v1
- Date: Tue, 21 May 2024 18:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-25 02:13:10.852827
- Title: ReALLM: A general framework for LLM compression and fine-tuning
- Title（参考訳）: ReALLM: LLM圧縮と微調整のための一般的なフレームワーク
- Authors: Louis Leconte, Lisa Bedin, Van Minh Nguyen, Eric Moulines,
- Abstract要約: ReALLMは、事前訓練された言語モデルの圧縮とメモリ効率の適応のための新しいアプローチである。
重みのみの量子化アルゴリズムは、トレーニングなしで3ドルビットの予算で言語生成タスク(C4とWikiText-2)の最良の結果を得る。
- 参考スコア（独自算出の注目度）: 11.738510106847414
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce ReALLM, a novel approach for compression and memory-efficient adaptation of pre-trained language models that encompasses most of the post-training quantization and fine-tuning methods for a budget of <4 bits. Pre-trained matrices are decomposed into a high-precision low-rank component and a vector-quantized latent representation (using an autoencoder). During the fine-tuning step, only the low-rank components are updated. Our results show that pre-trained matrices exhibit different patterns. ReALLM adapts the shape of the encoder (small/large embedding, high/low bit VQ, etc.) to each matrix. ReALLM proposes to represent each matrix with a small embedding on $b$ bits and a neural decoder model $\mathcal{D}_\phi$ with its weights on $b_\phi$ bits. The decompression of a matrix requires only one embedding and a single forward pass with the decoder. Our weight-only quantization algorithm yields the best results on language generation tasks (C4 and WikiText-2) for a budget of $3$ bits without any training. With a budget of $2$ bits, ReALLM achieves state-of-the art performance after fine-tuning on a small calibration dataset.
- Abstract（参考訳）: ReALLMは,事前学習した言語モデルの圧縮とメモリ効率を向上するための新しい手法であり,学習後の量子化と4ビットの予算のための微調整手法の大部分を包含する。
事前学習行列は、高精度低ランク成分とベクトル量子化潜在表現(オートエンコーダを用いて)に分解される。
微調整の段階では、低ランクのコンポーネントだけが更新される。
その結果,事前学習した行列は異なるパターンを示すことがわかった。
ReALLMは、エンコーダ(小/大埋め込み、高/低ビットVQなど)の形状を各マトリックスに適応させる。
ReALLMは、各行列を$b$ビットに小さな埋め込みと、$b_\phi$ビットに重みを持つニューラルデコーダモデル$\mathcal{D}_\phi$で表現することを提案する。
行列の圧縮には1つの埋め込みと1つのフォワードパスしか必要としない。
我々の重みのみの量子化アルゴリズムは、トレーニングなしで3ドルビットの予算で言語生成タスク(C4とWikiText-2)の最良の結果を得る。
2ドルの予算で、ReALLMは小さなキャリブレーションデータセットを微調整した後、最先端のアートパフォーマンスを達成する。
関連論文リスト
- OneBit: Towards Extremely Low-bit Large Language Models [66.29839811207617]
本稿では, LLMの重量行列を1ビットに大胆に定量化し, LLMの極低ビット幅展開への道を開く。
実験によると、OneBitは(LLaMAモデルの非量子化性能の少なくとも81%)優れたパフォーマンスを、堅牢なトレーニングプロセスで達成している。
論文 参考訳（メタデータ） (2024-02-17T14:26:57Z) - Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
AQLMは、パラメータ毎に3ビット未満に圧縮する場合、精度-vs-モデルサイズで最適である最初のスキームである。
トークン生成のためのAQLMの高速GPUおよびCPU実装を提供する。
論文 参考訳（メタデータ） (2024-01-11T18:54:44Z) - LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning [66.85589263870702]
提案手法では,事前学習した行列を高精度の低ランク成分とメモリ効率の量子化成分に分解するために反復アルゴリズムを用いる。
微調整されたRoBERTaとLLaMA-2の実験は、我々の低ランク+量子化行列分解法(LQ-LoRA)が強いQLoRAおよびGPTQ-LoRAベースラインより優れていることを示した。
論文 参考訳（メタデータ） (2023-11-20T18:57:41Z) - Matrix Compression via Randomized Low Rank and Low Precision
Factorization [47.902465710511485]
現代の行列は数十億の要素を巻き込み、そのストレージと処理は計算資源とメモリ使用量の観点から非常に要求される。
この構造を利用して任意の行列 $mathbfA$ as $mathbfLmathbfR$ の低階分解を求めるアルゴリズムを提案する。
LlaMa-7$bの層を圧縮し,画像圧縮におけるアルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2023-10-17T06:56:57Z) - Learning Low-Rank Representations for Model Compression [6.721845345130468]
本稿では,従来のVQアルゴリズムを様々なタスクやアーキテクチャで上回る低ランク表現ベクトル量子化(textLR2textVQ$)手法を提案する。
本手法では,圧縮率を直接$m$で制御することができ,最終的な精度は$tilded$で決定される。
適切な$tilded$で、ImageNet分類データセット上でResNet-18/ResNet-50で$textLR2textVQ$を評価します。
論文 参考訳（メタデータ） (2022-11-21T12:15:28Z) - Monarch: Expressive Structured Matrices for Efficient and Accurate
Training [64.6871423399431]
大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。
計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。
ハードウェア効率のよい行列(Monarch)のクラスを提案する。
論文 参考訳（メタデータ） (2022-04-01T17:37:29Z) - Efficient Decoding of Surface Code Syndromes for Error Correction in
Quantum Computing [0.09236074230806578]
本稿では,2レベル(低レベル,高レベル)のMLベースの復号法を提案し,第1レベルが物理量子ビット上の誤りを訂正し,第2レベルが既存の論理的誤りを訂正する。
その結果,提案手法は擬似閾値としきい値のそれぞれ$sim10倍,$sim2倍の値が得られることがわかった。
より高度な訓練/テスト時間を持つMLモデルの使用は、デコーダの性能に大きな改善をもたらすものではないことを示す。
論文 参考訳（メタデータ） (2021-10-21T04:54:44Z) - Compressing 1D Time-Channel Separable Convolutions using Sparse Random
Ternary Matrices [65.4388266814055]
1次元時間チャネル分離可能な畳み込みの1x1-畳み込みを、定数でスパースな乱数三元行列で-1,0,+1$の重みで置き換える。
Google Speech Commands v1のコマンド認識のために、最新の精度を同じネットワークサイズで97.21%$から97.41%$に改善します。
librispeech上での音声認識では、トレーニングすべき重みの数は半分になり、浮動小数点ベースラインの単語誤り率の約1%を犠牲にします。
論文 参考訳（メタデータ） (2021-03-31T15:09:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。