論文の概要: Rethinking Compression: Reduced Order Modelling of Latent Features in
Large Language Models
- arxiv url: http://arxiv.org/abs/2312.07046v1
- Date: Tue, 12 Dec 2023 07:56:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 16:58:26.555647
- Title: Rethinking Compression: Reduced Order Modelling of Latent Features in
Large Language Models
- Title(参考訳): 圧縮を再考する:大規模言語モデルにおける潜在特徴の低次モデリング
- Authors: Arnav Chavan, Nahush Lele and Deepak Gupta
- Abstract要約: 本稿では,Large Language Models (LLMs) のパラメトリックおよび実用的な圧縮に対して,低次モデリングに基づく革新的なアプローチを提案する。
本手法は, 行列分解を利用したモデル圧縮の顕著な進歩を示し, 最先端の構造化プルーニング法よりも優れた有効性を示した。
- 参考スコア(独自算出の注目度): 9.91972450276408
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the substantial scale of Large Language Models (LLMs), the direct
application of conventional compression methodologies proves impractical. The
computational demands associated with even minimal gradient updates present
challenges, particularly on consumer-grade hardware. This paper introduces an
innovative approach for the parametric and practical compression of LLMs based
on reduced order modelling, which entails low-rank decomposition within the
feature space and re-parameterization in the weight space. Notably, this
compression technique operates in a layer-wise manner, obviating the need for a
GPU device and enabling the compression of billion-scale models within
stringent constraints of both memory and time. Our method represents a
significant advancement in model compression by leveraging matrix
decomposition, demonstrating superior efficacy compared to the prevailing
state-of-the-art structured pruning method.
- Abstract(参考訳): 大規模言語モデル(llm)の大規模化により、従来の圧縮手法の直接適用は実用的でないことが証明される。
最小限の勾配更新を伴う計算要求は、特にコンシューマグレードのハードウェアにおいて問題となる。
本稿では,特徴空間における低ランク分解と重み空間の再パラメータ化を伴う低次モデルに基づくllmのパラメトリック・実用的な圧縮手法を提案する。
特に、この圧縮技術は階層的に動作し、GPUデバイスの必要性を回避し、メモリと時間の両方の厳密な制約の中で数十億のモデルの圧縮を可能にする。
本手法は, マトリックス分解を利用したモデル圧縮の著しい進歩を示し, 従来の構造的プルーニング法と比較して優れた効果を示す。
関連論文リスト
- Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳(メタデータ) (2024-02-26T05:51:47Z) - Projected Generative Diffusion Models for Constraint Satisfaction [51.957984732779245]
生成拡散モデルは、逐次過程を通じて生ノイズからコヒーレントな内容の合成に優れる。
本稿では,従来の拡散サンプリングを制約最適化経路に再キャストすることで,これらの課題を克服することを目的とする。
論文 参考訳(メタデータ) (2024-02-05T22:18:16Z) - A Survey on Transformer Compression [84.18094368700379]
Transformerアーキテクチャに基づく大規模モデルは、人工知能においてますます重要な役割を担っている。
モデル圧縮法はメモリと計算コストを削減し、実用的なデバイス上でトランスフォーマーモデルを実装するために必要なステップである。
このサーベイは、最近の圧縮手法の包括的なレビューを提供し、トランスフォーマーモデルへの適用に特に焦点をあてている。
論文 参考訳(メタデータ) (2024-02-05T12:16:28Z) - CompactifAI: Extreme Compression of Large Language Models using
Quantum-Inspired Tensor Networks [1.60270914221478]
ChatGPTやLlaMAのような大規模言語モデル(LLM)は、生成人工知能(AI)において急速に進歩している。
その巨大なサイズは、巨大なトレーニングと推論コスト、相当なエネルギー需要、オンサイト展開の制限など、大きな課題を生んでいる。
プルーニング、蒸留、低ランク近似といった従来の圧縮手法は、ネットワーク内のニューロンの有効数を減らし、量子化は個々の重みの数値的精度を減らし、ニューロンの固定数を抑えながらモデルサイズを減らすことに重点を置いている。
本稿では、量子インスパイアされたネットワークを用いた革新的な圧縮手法であるCompactifAIを紹介する。
論文 参考訳(メタデータ) (2024-01-25T11:45:21Z) - Efficient Compression of Overparameterized Deep Models through
Low-Dimensional Learning Dynamics [10.673414267895355]
本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。
本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
論文 参考訳(メタデータ) (2023-11-08T23:57:03Z) - Retrieval-based Knowledge Transfer: An Effective Approach for Extreme
Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。
しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。
本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-24T07:58:20Z) - Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared
Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。
また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。
その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文 参考訳(メタデータ) (2023-10-19T15:13:58Z) - Riemannian Low-Rank Model Compression for Federated Learning with
Over-the-Air Aggregation [2.741266294612776]
低ランクモデル圧縮は、機械学習モデルを訓練する際の計算負荷を減らすために広く使われている技法である。
既存の圧縮技術は、連合学習システムにおける効率の良いオーバー・ザ・エア(OTA)アグリゲーションには直接適用できない。
低ランク制約を緩和しないFLにおける低ランクモデル圧縮のための新しい多様体最適化法を提案する。
論文 参考訳(メタデータ) (2023-06-04T18:32:50Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳(メタデータ) (2021-10-16T00:20:04Z) - A Model Compression Method with Matrix Product Operators for Speech
Enhancement [15.066942043773267]
本稿では,行列積演算子(MPO)に基づくモデル圧縮手法を提案する。
本稿では,特にクラウドフリーアプリケーションにおいて,音声強調のための効果的なモデル圧縮手法を提案する。
論文 参考訳(メタデータ) (2020-10-10T08:53:25Z) - Self-Supervised GAN Compression [32.21713098893454]
従来の手法では,標準モデル圧縮手法であるウェイトプルーニングがGANに適用できないことを示す。
次に、訓練された判別器を用いて圧縮発電機の訓練を監督する自己教師圧縮手法を開発する。
我々は,このフレームワークが高い疎度に対して魅力的な性能を示し,新しいタスクやモデルに容易に適用できることを示し,異なるプルーニング粒度間の有意義な比較を可能にする。
論文 参考訳(メタデータ) (2020-07-03T04:18:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。