論文の概要: Lillama: Large Language Models Compression via Low-Rank Feature Distillation

• arxiv url: http://arxiv.org/abs/2412.16719v2
• Date: Sat, 28 Dec 2024 17:45:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:02:44.273422
• Title: Lillama: Large Language Models Compression via Low-Rank Feature Distillation
• Title（参考訳）: Lillama: 低ランク機能蒸留による大規模言語モデル圧縮
• Authors: Yaya Sy, Christophe Cerisara, Irina Illina,
• Abstract要約: ライラマ(英: Lillama)は、低ランク重量で活性化を蒸留する圧縮法である。 1つのA100 GPUでMixtral-8x7Bを数分で圧縮し、100億のパラメータを削除し、元のパフォーマンスの95%以上を保持した。 非トランスフォーマーアーキテクチャを一般化し、99%のパフォーマンスを維持しながら、Mamba-3Bを20%圧縮する。
• 参考スコア（独自算出の注目度）: 8.090496457850852
• License:
• Abstract: Current LLM structured pruning methods typically involve two steps: (1) compression with calibration data and (2) costly continued pretraining on billions of tokens to recover lost performance. This second step is necessary as the first significantly impacts model accuracy. Prior research suggests pretrained Transformer weights aren't inherently low-rank, unlike their activations, which may explain this drop. Based on this observation, we propose Lillama, a compression method that locally distills activations with low-rank weights. Using SVD for initialization and a joint loss combining teacher and student activations, we accelerate convergence and reduce memory use with local gradient updates. Lillama compresses Mixtral-8x7B within minutes on a single A100 GPU, removing 10 billion parameters while retaining over 95% of its original performance. Phi-2 3B can be compressed by 40% with just 13 million calibration tokens, resulting in a small model that competes with recent models of similar size. The method generalizes well to non-transformer architectures, compressing Mamba-3B by 20% while maintaining 99% performance.
• Abstract（参考訳）: 現在のLCM構造化プルーニング法は,(1)キャリブレーションデータによる圧縮,(2)数十億のトークンを事前訓練して,損失性能を回復する,という2つのステップが一般的である。 第1ステップはモデルの精度に大きな影響を与えるため、この第2ステップが必要である。 以前の研究では、トランスフォーマーの重量はアクティベーションとは異なり本質的に低ランクではないことが示されています。 そこで本研究では,低ランク重量で局所的に活性化を蒸留する圧縮法であるLillamaを提案する。 SVDを初期化と教師と学生のアクティベーションを組み合わせた共同損失に利用することにより,局所的な勾配更新による収束とメモリ使用量の削減を図る。 Lillamaは、1つのA100 GPUでMixtral-8x7Bを数分で圧縮し、100億のパラメータを削除し、元のパフォーマンスの95%以上を維持している。 Phi-2 3Bは、わずか1300万のキャリブレーショントークンで40%圧縮することができ、結果として、同じサイズの最近のモデルと競合する小さなモデルになる。 この方法は非変圧器アーキテクチャによく適応し、99%の性能を維持しつつ、Mamba-3Bを20%圧縮する。

関連論文リスト

• DeltaLLM: Compress LLMs with Low-Rank Deltas between Shared Weights [11.047879241587315]
  我々は,LLMのメモリフットプリントを低減するために,新しい訓練後圧縮技術であるDeltaLLMを紹介する。 トレーニングでは、進行するモジュール置換法を採用し、低ランクモジュールの軽量なトレーニングは、スクラッチからトレーニングしたLLMと同等の大きさのLLMの性能を達成するのに十分であることを示す。 また,同数のパラメータを除去したJointDrop,LaCo,ShortGPT,SliceGPTの圧縮技術よりも優れていた。
  論文  参考訳（メタデータ） (2025-01-30T18:59:55Z)
• Direct Quantized Training of Language Models with Stochastic Rounding [12.028887152979046]
  本稿では,バックプロパゲーション中のストレートスルー推定器に頼ることなく,量子化低精度行列を直接更新する可能性について検討する。 LLaMA構造モデルによる実験結果から,3次値に制約された場合でも,低精度の重み付きトレーニングが実現可能であることが示唆された。 私たちのモデルは3次重みを使って推論も行えます。
  論文  参考訳（メタデータ） (2024-12-06T05:41:11Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• From GaLore to WeLore: How Low-Rank Weights Non-uniformly Emerge from Low-Rank Gradients [86.40635601953446]
  現代大規模言語モデルの様々な層にまたがる低ランク構造の出現について検討する。 WeLore(Weight Low-Rank Projection)を提案する。
  論文  参考訳（メタデータ） (2024-07-15T21:05:20Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance [97.01406871579525]
  大規模言語画像事前学習モデルのための新しいクロスモーダル蒸留法TinyCLIPを提案する。 また、TinyCLIPは、トレーニング済みのCLIP ViT-B/32のサイズを50%削減し、ゼロショット性能を同等に維持できることを示した。 YFCC-15MでトレーニングしたTinyCLIP ViT-8M/16は、ImageNetで41.1%という印象的なゼロショットトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2023-09-21T17:59:53Z)
• Blockwise Compression of Transformer-based Models without Retraining [6.118476907408718]
  本稿では,再学習を伴わない変圧器のブロックワイド圧縮フレームワークであるBCTを提案する。 層ワイド圧縮法とは異なり、BCTはブロックワイド操作によりトランス全体のより微細な圧縮を実現する。 BCTは、埋め込み、行列乗算、GELU、Softmax、層正規化、中間結果など、モデルの全コンポーネントを効果的に圧縮する。
  論文  参考訳（メタデータ） (2023-04-04T02:55:40Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• Compression-aware Continual Learning using Singular Value Decomposition [2.4283778735260686]
  本稿では,ニューラルネットワークを動的に成長させる圧縮型連続タスク学習手法を提案する。 近年のモデル圧縮技術にインスパイアされた我々は、圧縮認識トレーニングを採用し、低ランク重量近似を行う。 本手法は,コストのかかる微調整を必要とせず,最小性能の圧縮表現を実現する。
  論文  参考訳（メタデータ） (2020-09-03T23:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。