論文の概要: Characterizing the Accuracy -- Efficiency Trade-off of Low-rank Decomposition in Language Models

• arxiv url: http://arxiv.org/abs/2405.06626v2
• Date: Tue, 22 Oct 2024 20:05:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:53:49.104038
• Title: Characterizing the Accuracy -- Efficiency Trade-off of Low-rank Decomposition in Language Models
• Title（参考訳）: 言語モデルにおける低階分解の精度-効率トレードオフ
• Authors: Chakshu Moar, Faraz Tahmasebi, Michael Pellauer, Hyoukjun Kwon,
• Abstract要約: 低ランクの分解は、大規模にリアルタイムサービスを必要とするLLMベースのアプリケーションにとって有望な方向である。 低ランクな分解設計空間を形式化し、分解設計空間が巨大であることを示す。 以上の結果から,最小精度で9%のモデルサイズ削減を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 1.401463252785724
• License:
• Abstract: Recent large language models (LLMs) employ billions of parameters to enable broad problem-solving capabilities. Such language models also tend to be memory-bound because of the dominance of matrix-vector and matrix-matrix multiplications with low arithmetic intensity. Therefore, optimizing the memory footprint and traffic is an important optimization direction for LLMs today. Model compression methods such as quantization and parameter pruning have been actively explored to achieve memory footprint and traffic optimization. However, the accuracy-efficiency trade-off of rank pruning (i.e., low-rank decomposition) for LLMs is not well-understood yet. Therefore, in this work, we characterize the accuracy-efficiency trade-off of a low-rank decomposition method, specifically Tucker decomposition, on recent language models, including an open-source LLM, Llama 2. We formalize the low-rank decomposition design space and show that the decomposition design space is enormous (e.g., O($2^{39}$) for Llama2-7B). To navigate such a vast design space, we formulate it and perform thorough case studies of accuracy-efficiency trade-offs using six widely used LLM benchmarks on BERT and Llama 2 models. Our results show that we can achieve a 9\% model size reduction with minimal accuracy drops, which range from 4\%p (\%p refers to "percentage point," which refers to the absolute difference between two percentage numbers; 74\% -> 78\% = 4\%p increase) to 10\%p, depending on the difficulty of the benchmark, without any retraining to recover accuracy after decomposition. The results show that low-rank decomposition can be a promising direction for LLM-based applications that require real-time service at scale (e.g., AI agent and real-time coding assistant), where the latency is as important as the model accuracy.
• Abstract（参考訳）: 最近の大規模言語モデル(LLM)は、広範囲の問題解決機能を実現するために数十億のパラメータを使用する。 このような言語モデルは、算術強度の低い行列ベクトルと行列行列行列乗算の優位性のために、メモリバウンドとなる傾向がある。 したがって、メモリフットプリントとトラフィックの最適化は、今日のLLMにとって重要な最適化方向である。 メモリフットプリントとトラフィック最適化を実現するため,量子化やパラメータプルーニングなどのモデル圧縮手法が積極的に検討されている。 しかし、LSMのランクプルーニング(低ランク分解)の精度と効率のトレードオフは、まだ十分に理解されていない。 そこで本研究では,オープンソースのLLM Llama 2を含む最近の言語モデルにおいて,低ランク分解法,特にタッカー分解の精度と効率のトレードオフを特徴付ける。 低ランクな分解設計空間を形式化し、分解設計空間が巨大であることを示す(例えば、Llama2-7B に対して O($2^{39}$)。 このような広大な設計空間をナビゲートするために,BERT と Llama 2 モデルで広く使用されている6つの LLM ベンチマークを用いて,精度効率トレードオフの徹底的なケーススタディを行う。 その結果, 精度低下を最小限に抑えることで, 4\%p (「パーセンテージポイント」は2つのパーセンテージ数の絶対差 74\% -> 78\% = 4\%p 増加) から 10\%p までのモデルサイズ縮小を実現することができた。 その結果,LLMをベースとした大規模リアルタイムサービス (AIエージェントやリアルタイムコーディングアシスタントなど) を必要とするアプリケーションでは,レイテンシがモデル精度と同じくらい重要であることが示唆された。

関連論文リスト

• SLiM: One-shot Quantized Sparse Plus Low-rank Approximation of LLMs [2.7624021966289605]
  大規模言語モデル(LLM)は、自然言語の理解と生成タスクに革命をもたらした。 LLMは、大きなパラメータサイズのため、メモリ消費が高く、推論時間が遅い。 本稿では,1ショットの量子スパースプラス低ランク近似を用いたLEMの圧縮手法であるSLiMを紹介する。
  論文  参考訳（メタデータ） (2024-10-12T18:36:07Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• TernaryLLM: Ternarized Large Language Model [29.29122031050894]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを達成した。 本稿では、Dual Learnable Ternarization (DLT)を導入し、スケールとシフトの両方を学習可能にする。 また、極低ビット量子化で失われた情報を復元するために、OFF(Outlier-Friendly Feature Knowledge Distillation)を提案する。
  論文  参考訳（メタデータ） (2024-06-11T11:40:12Z)
• ShiftAddLLM: Accelerating Pretrained LLMs via Post-Training Multiplication-Less Reparameterization [13.622268474310918]
  ShiftAddLLMは大規模言語モデルの効率的な乗算自由モデルである。 5.6および22.7ポイントのパープレキシティ改善を同等または低いレイテンシで達成する。 5つのLLMファミリーと8つのタスクの実験は、ShiftAddLLMの有効性を一貫して検証している。
  論文  参考訳（メタデータ） (2024-06-10T02:47:55Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
  大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。 本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。 提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T18:43:49Z)
• Sparse Fine-tuning for Inference Acceleration of Large Language Models [48.285897264669984]
  大規模言語モデル(LLM)の精密細粒度調整の問題点について考察する。 蒸留型損失の詳細な研究を行い,L2に基づく蒸留手法をSquareHeadと呼ぶ。 MPTテキスト生成では、細かな微調整が精度低下なしに75%の間隔に到達できることを初めて示す。
  論文  参考訳（メタデータ） (2023-10-10T18:28:38Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。