論文の概要: Everything You Always Wanted to Know About Storage Compressibility of
Pre-Trained ML Models but Were Afraid to Ask
- arxiv url: http://arxiv.org/abs/2402.13429v1
- Date: Tue, 20 Feb 2024 23:45:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 00:25:56.978500
- Title: Everything You Always Wanted to Know About Storage Compressibility of
Pre-Trained ML Models but Were Afraid to Ask
- Title(参考訳): 事前学習したMLモデルのストレージ圧縮性について、いつも知りたいことすべて
- Authors: Zhaoyuan Su, Ammar Ahmed, Zirui Wang, Ali Anwar, Yue Cheng
- Abstract要約: 既存のデータ削減技術は、事前訓練されたモデル(PTM)データセットファイルのために特別に設計されていない。
本稿では,ストレージ圧縮性に関するPTMデータセットの現在までの総括的解析について述べる。
我々は、他のいくつかのデータ削減手法とともにELFを統合する圧縮フレームワークであるElvesを開発した。
- 参考スコア(独自算出の注目度): 19.612260423937744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the number of pre-trained machine learning (ML) models is growing
exponentially, data reduction tools are not catching up. Existing data
reduction techniques are not specifically designed for pre-trained model (PTM)
dataset files. This is largely due to a lack of understanding of the patterns
and characteristics of these datasets, especially those relevant to data
reduction and compressibility.
This paper presents the first, exhaustive analysis to date of PTM datasets on
storage compressibility. Our analysis spans different types of data reduction
and compression techniques, from hash-based data deduplication, data similarity
detection, to dictionary-coding compression. Our analysis explores these
techniques at three data granularity levels, from model layers, model chunks,
to model parameters. We draw new observations that indicate that modern data
reduction tools are not effective when handling PTM datasets. There is a
pressing need for new compression methods that take into account PTMs' data
characteristics for effective storage reduction.
Motivated by our findings, we design ELF, a simple yet effective,
error-bounded, lossy floating-point compression method. ELF transforms
floating-point parameters in such a way that the common exponent field of the
transformed parameters can be completely eliminated to save storage space. We
develop Elves, a compression framework that integrates ELF along with several
other data reduction methods. Elves uses the most effective method to compress
PTMs that exhibit different patterns. Evaluation shows that Elves achieves an
overall compression ratio of $1.52\times$, which is $1.31\times$, $1.32\times$
and $1.29\times$ higher than a general-purpose compressor (zstd), an
error-bounded lossy compressor (SZ3), and the uniform model quantization,
respectively, with negligible model accuracy loss.
- Abstract(参考訳): 事前訓練された機械学習(ML)モデルの数が指数関数的に増えているため、データ削減ツールは追いつかない。
既存のデータ削減技術は、事前訓練されたモデル(PTM)データセットファイルのために特別に設計されていない。
これは主に、これらのデータセットのパターンや特性、特にデータの削減と圧縮性に関する理解が欠如しているためである。
本稿では,ストレージ圧縮性に関するPTMデータセットの現在までの総括的解析について述べる。
分析は,ハッシュベースのデータ重複,データ類似性検出,辞書コード圧縮など,さまざまな種類のデータ削減と圧縮技術にまたがる。
分析では,モデル層,モデルチャンク,モデルパラメータの3つのデータ粒度レベルについて検討した。
PTMデータセットの処理において,現代のデータ削減ツールは有効ではないことを示す新たな観測結果が得られた。
PTMのデータ特性を考慮し、効率的なストレージ削減を実現する新しい圧縮方法の必要性が高まっている。
提案手法は, 単純で有効で, 誤りに富んだ浮動小数点圧縮法であるELFを設計した。
ELFは浮動小数点パラメータを変換し、変換されたパラメータの共通指数場を完全に排除して記憶空間を保存する。
elfを他のデータ削減手法と統合した圧縮フレームワークであるelveを開発した。
エルフは最も効果的な方法で異なるパターンを示すPTMを圧縮する。
評価によれば、エルフは汎用圧縮機(zstd)、エラーバウンド損失圧縮機(sz3)、一様モデル量子化(uniform model quantization)よりも1.52\times$,1.31\times$,1.32\times$,1.29\times$の合計圧縮比を達成している。
関連論文リスト
- Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳(メタデータ) (2024-02-07T16:32:29Z) - Variator: Accelerating Pre-trained Models with Plug-and-Play Compression
Modules [111.98205411431402]
Variatorは、プラグアンドプレイ圧縮プラグインによる計算効率を向上させるパラメータ効率加速法である。
Variatorはパラメータを0.9%追加するだけで計算コストを53%削減でき、性能低下は2%未満である。
論文 参考訳(メタデータ) (2023-10-24T11:00:07Z) - Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。
元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
論文 参考訳(メタデータ) (2023-03-07T19:12:31Z) - Scalable Hybrid Learning Techniques for Scientific Data Compression [6.803722400888276]
科学者は、抽出された興味の量(QoIs)を正確に保存する圧縮技術を必要とする
本稿では,データ圧縮のためのエンドツーエンドでスケーラブルなGPUベースのパイプラインとして実装された物理インフォームド圧縮手法を提案する。
論文 参考訳(メタデータ) (2022-12-21T03:00:18Z) - Language model compression with weighted low-rank factorization [73.61874728240568]
本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。
結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。
提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-06-30T21:57:07Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-23T09:35:03Z) - Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
私たちはaを提案します。
Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。
多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
論文 参考訳(メタデータ) (2022-05-23T02:43:45Z) - A Physics-Informed Vector Quantized Autoencoder for Data Compression of
Turbulent Flow [28.992515947961593]
本研究では,ベクトル量子化に基づく物理インフォームドディープラーニング手法を適用し,乱流から低次元のデータ表現を生成する。
モデルの精度は、統計的・比較的類似度と物理的類似度を用いて評価される。
我々のモデルは、平均二乗誤差(MSE)が$O(10-3)$のCR$=85$と、非常に小さなスケールを除いて流れの統計を忠実に再現する予測を提供する。
論文 参考訳(メタデータ) (2022-01-10T19:55:50Z) - Efficient Data Compression for 3D Sparse TPC via Bicephalous
Convolutional Autoencoder [8.759778406741276]
この研究は、textitBicephalous Convolutional AutoEncoder (BCAE)と呼ばれる、空間と回帰を同時に解決するデュアルヘッドオートエンコーダを導入している。
これはMGARD、SZ、ZFPといった従来のデータ圧縮手法と比較して圧縮忠実度と比の両方の利点を示している。
論文 参考訳(メタデータ) (2021-11-09T21:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。