論文の概要: Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for
Large Language Models
- arxiv url: http://arxiv.org/abs/2402.03142v1
- Date: Mon, 5 Feb 2024 16:11:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 15:06:30.714704
- Title: Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for
Large Language Models
- Title(参考訳): KEN:大規模言語モデルのための普遍的かつ簡易な非パラメトリックプルーニングアルゴリズム
- Authors: Michele Mastromattei, Fabio Massimo Zanzotto
- Abstract要約: KENはカーネル密度推定(KDE)に基づく単純で普遍的で非構造化プルーニングアルゴリズムである
KENは、最適化されたトランスフォーマーモデルを構築することを目的としており、最も重要なパラメータを選択的に保存し、他のパラメータをトレーニング前の状態に復元する。
他のプルーニングアルゴリズムとPEFTアルゴリズムとの深い比較により、KENの有効性が確認された。
- 参考スコア(独自算出の注目度): 1.8673970128645236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network pruning has become increasingly crucial due to the complexity
of neural network models and their widespread use in various fields. Existing
pruning algorithms often suffer from limitations such as architecture
specificity, excessive complexity and reliance on complex calculations,
rendering them impractical for real-world applications. In this paper, we
propose KEN: a straightforward, universal and unstructured pruning algorithm
based on Kernel Density Estimation (KDE). KEN aims to construct optimized
transformer models by selectively preserving the most significant parameters
while restoring others to their pre-training state. This approach maintains
model performance while allowing storage of only the optimized subnetwork,
leading to significant memory savings. Extensive evaluations on seven
transformer models demonstrate that KEN achieves equal or better performance
than the original models with a minimum parameter reduction of 25%. In-depth
comparisons against other pruning and PEFT algorithms confirm KEN
effectiveness. Furthermore, we introduce KEN_viz, an explainable tool that
visualizes the optimized model composition and the subnetwork selected by KEN.
- Abstract(参考訳): ニューラルネットワークプルーニングは、ニューラルネットワークモデルの複雑さと、様々な分野で広く使われているため、ますます重要になっている。
既存のプルーニングアルゴリズムは、しばしばアーキテクチャの特異性、過剰な複雑さ、複雑な計算に依存するといった制限に苦しめられ、現実のアプリケーションでは実用的でない。
本稿では,カーネル密度推定(KDE)に基づく,単純で普遍的で非構造化なプルーニングアルゴリズムKENを提案する。
KENは、最適化されたトランスフォーマーモデルの構築を目的としており、最も重要なパラメータを選択的に保存し、他のパラメータをトレーニング前の状態に復元する。
このアプローチは、最適化されたサブネットワークのみを格納しながらモデル性能を維持し、大幅なメモリ節約につながる。
7つの変圧器モデルに対する広範囲な評価は、KENが25%の最小パラメータ還元を持つ元のモデルと同等以上の性能を達成することを示した。
他のプルーニングアルゴリズムとPEFTアルゴリズムとの深い比較により、KENの有効性が確認された。
さらに、最適化されたモデル構成とKENが選択したサブネットワークを視覚化する説明可能なツールであるKEN_vizを紹介する。
関連論文リスト
- Explicit Foundation Model Optimization with Self-Attentive Feed-Forward
Neural Units [4.807347156077897]
バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。
本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
論文 参考訳(メタデータ) (2023-11-13T17:55:07Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - On Model Compression for Neural Networks: Framework, Algorithm, and
Convergence Guarantee [10.783153208561469]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。
本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-13T02:14:42Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-10-23T18:37:22Z) - Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。
実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。
Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-05-30T16:55:59Z) - Orthogonal Stochastic Configuration Networks with Adaptive Construction
Parameter for Data Analytics [6.940097162264939]
ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。
機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。
本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
論文 参考訳(メタデータ) (2022-05-26T07:07:26Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳(メタデータ) (2020-09-04T20:41:47Z) - Collegial Ensembles [11.64359837358763]
我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。
また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
論文 参考訳(メタデータ) (2020-06-13T16:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。