論文の概要: ZipNN: Lossless Compression for AI Models

• arxiv url: http://arxiv.org/abs/2411.05239v1
• Date: Thu, 07 Nov 2024 23:28:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:53:25.764358
• Title: ZipNN: Lossless Compression for AI Models
• Title（参考訳）: ZipNN:AIモデルの無意味な圧縮
• Authors: Moshik Hershcovitch, Andrew Wood, Leshem Choshen, Guy Girmonsky, Roy Leibovitz, Ilias Ennmouri, Michal Malka, Peter Chin, Swaminathan Sundararaman, Danny Harnik,
• Abstract要約: ZipNNはニューラルネットワークに適した無損失圧縮を提供する。 一般的なモデル(例えばLlama 3)では、ZipNNはバニラ圧縮よりも17%以上良いスペース節約を示している。 これらの手法は、Hugging Faceのような大きなモデルハブからダウンロードされたネットワークトラフィックを1ヶ月に1つ以上節約できると見積もっている。
• 参考スコア（独自算出の注目度）: 10.111136691015554
• License:
• Abstract: With the growth of model sizes and the scale of their deployment, their sheer size burdens the infrastructure requiring more network and more storage to accommodate these. While there is a vast model compression literature deleting parts of the model weights for faster inference, we investigate a more traditional type of compression - one that represents the model in a compact form and is coupled with a decompression algorithm that returns it to its original form and size - namely lossless compression. We present ZipNN a lossless compression tailored to neural networks. Somewhat surprisingly, we show that specific lossless compression can gain significant network and storage reduction on popular models, often saving 33% and at times reducing over 50% of the model size. We investigate the source of model compressibility and introduce specialized compression variants tailored for models that further increase the effectiveness of compression. On popular models (e.g. Llama 3) ZipNN shows space savings that are over 17% better than vanilla compression while also improving compression and decompression speeds by 62%. We estimate that these methods could save over an ExaByte per month of network traffic downloaded from a large model hub like Hugging Face.
• Abstract（参考訳）: モデルのサイズとデプロイメントの規模が拡大するにつれ、ネットワークやストレージの容量の増大がインフラストラクチャの負担になる。 より高速な推論のためにモデルの重みを削除した膨大なモデル圧縮文献が存在するが、より伝統的なタイプの圧縮について調べる。 ZipNNはニューラルネットワークに適した無損失圧縮を提供する。 驚くべきことに、特定のロスレス圧縮が一般的なモデルにおいてネットワークとストレージの大幅な削減をもたらし、しばしば33%を節約し、時にはモデルサイズを50%以上削減することを示した。 モデル圧縮可能性の源泉について検討し、圧縮の有効性をさらに高めるモデルに適した特殊な圧縮変種を導入する。 一般的なモデル(eg Llama 3)では、ZipNNがバニラ圧縮よりも17%以上優れたスペースセーブを示し、圧縮と圧縮速度を62%改善している。 これらの手法は、Hugging Faceのような大きなモデルハブからダウンロードされたネットワークトラフィックを1ヶ月に1つ以上節約できると見積もっている。

関連論文リスト

• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• Unified Low-rank Compression Framework for Click-through Rate Prediction [15.813889566241539]
  本稿では,CTR予測モデルを圧縮する低ランク分解フレームワークを提案する。 私たちのフレームワークはオリジナルのモデルよりも優れたパフォーマンスを実現できます。 我々のフレームワークは、様々なCTR予測モデルにテーブルやレイヤーを埋め込むのに利用できる。
  論文  参考訳（メタデータ） (2024-05-28T13:06:32Z)
• Lossless and Near-Lossless Compression for Foundation Models [11.307357041746865]
  モデル圧縮性の原因を調査し,モデルに適した圧縮変種を導入し,圧縮性グループに分類する。 我々はこれらの手法がHuggingFaceのような大きなモデルハブからダウンロードされたネットワークトラフィックの1ヶ月あたりExaByte以上を節約できると見積もっている。
  論文  参考訳（メタデータ） (2024-04-05T16:52:55Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Ultra Dual-Path Compression For Joint Echo Cancellation And Noise Suppression [38.09558772881095]
  固定圧縮比の下では、時間と周波数の両方の手法を組み合わせたデュアルパス圧縮により、さらなる性能向上が期待できる。 提案されたモデルは、高速なFullSubNetやDeepNetFilterと比較して、競争力のある性能を示している。
  論文  参考訳（メタデータ） (2023-08-21T21:36:56Z)
• Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
  本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。 精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
  論文  参考訳（メタデータ） (2023-08-08T14:10:16Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• PILC: Practical Image Lossless Compression with an End-to-end GPU Oriented Neural Framework [88.18310777246735]
  本稿では,1台のNVIDIA Tesla V100 GPUを用いて,圧縮と圧縮の両面で200MB/sを実現するエンドツーエンド画像圧縮フレームワークを提案する。 実験により、我々のフレームワークは、複数のデータセットで30%のマージンで、PNGよりも圧縮が優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-10T03:00:10Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。