論文の概要: Lossless and Near-Lossless Compression for Foundation Models

• arxiv url: http://arxiv.org/abs/2404.15198v1
• Date: Fri, 5 Apr 2024 16:52:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-28 11:06:36.873481
• Title: Lossless and Near-Lossless Compression for Foundation Models
• Title（参考訳）: 基礎モデルにおけるロスレス・ニアロスレス圧縮
• Authors: Moshik Hershcovitch, Leshem Choshen, Andrew Wood, Ilias Enmouri, Peter Chin, Swaminathan Sundararaman, Danny Harnik,
• Abstract要約: モデル圧縮性の原因を調査し,モデルに適した圧縮変種を導入し,圧縮性グループに分類する。 我々はこれらの手法がHuggingFaceのような大きなモデルハブからダウンロードされたネットワークトラフィックの1ヶ月あたりExaByte以上を節約できると見積もっている。
• 参考スコア（独自算出の注目度）: 11.307357041746865
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the growth of model sizes and scale of their deployment, their sheer size burdens the infrastructure requiring more network and more storage to accommodate these. While there is a vast literature about reducing model sizes, we investigate a more traditional type of compression -- one that compresses the model to a smaller form and is coupled with a decompression algorithm that returns it to its original size -- namely lossless compression. Somewhat surprisingly, we show that such lossless compression can gain significant network and storage reduction on popular models, at times reducing over $50\%$ of the model size. We investigate the source of model compressibility, introduce compression variants tailored for models and categorize models to compressibility groups. We also introduce a tunable lossy compression technique that can further reduce size even on the less compressible models with little to no effect on the model accuracy. We estimate that these methods could save over an ExaByte per month of network traffic downloaded from a large model hub like HuggingFace.
• Abstract（参考訳）: モデルのサイズとデプロイメントの規模が拡大するにつれ、ネットワークとストレージの容量の増大がインフラストラクチャの負担になる。 モデルのサイズを減らすことについては、膨大な文献があるが、より伝統的なタイプの圧縮(モデルを小さな形式に圧縮し、圧縮を元のサイズ、すなわち損失のない圧縮に戻すアルゴリズムと結合する)を調査する。 驚くべきことに、そのような損失のない圧縮は、一般的なモデルにおいてネットワークとストレージの大幅な削減をもたらす可能性がある。 モデル圧縮性の原因を調査し,モデルに適した圧縮変種を導入し,圧縮性グループに分類する。 また, モデル精度にはほとんど影響を与えず, 圧縮性が低いモデルでも, より小型化が図れるような, 調整可能な損失圧縮手法も導入する。 我々はこれらの手法がHuggingFaceのような大きなモデルハブからダウンロードされたネットワークトラフィックの1ヶ月あたりExaByte以上を節約できると見積もっている。

関連論文リスト

• Unified Low-rank Compression Framework for Click-through Rate Prediction [15.813889566241539]
  本稿では,CTR予測モデルを圧縮する低ランク分解フレームワークを提案する。 私たちのフレームワークはオリジナルのモデルよりも優れたパフォーマンスを実現できます。 我々のフレームワークは、様々なCTR予測モデルにテーブルやレイヤーを埋め込むのに利用できる。
  論文  参考訳（メタデータ） (2024-05-28T13:06:32Z)
• Tiny Models are the Computational Saver for Large Models [1.8350044465969415]
  本稿では,TinySaverについて紹介する。TinySaverは,大規模モデルを適応的に置き換えるために小さなモデルを用いる,早期に出現する動的モデル圧縮手法である。 この手法をImageNet-1k分類で評価した結果,最大90%の演算数を削減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-26T14:14:30Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
  本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。 精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
  論文  参考訳（メタデータ） (2023-08-08T14:10:16Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless Compression [49.10945855716001]
  本稿では,事前学習した深部生成モデルから始まり,そのモデルに動的システムを適用してデータバッチを圧縮する手法を提案する。 実験結果から、バニラOSOAは、トレーニング対象のモデルとスペースに対して、すべてのターゲットに対して1つのモデルを使用することに対して、かなりの時間を節約できることが示された。
  論文  参考訳（メタデータ） (2021-11-02T15:18:25Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Lossless Compression with Latent Variable Models [4.289574109162585]
  我々は「非対称数値系を持つビットバック」(bb-ans)と呼ぶ潜在変数モデルを用いる。 この方法は、エンコードおよびデコードステップをインターリーブし、データのバッチ圧縮時に最適なレートを達成する。 我々は,深層生成モデルを用いた圧縮の高速プロトタイピングのために開発したモジュール型ソフトウェアフレームワークである'craystack'について述べる。
  論文  参考訳（メタデータ） (2021-04-21T14:03:05Z)
• GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
  本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。 我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
  論文  参考訳（メタデータ） (2020-08-25T14:39:42Z)
• Self-Supervised GAN Compression [32.21713098893454]
  従来の手法では,標準モデル圧縮手法であるウェイトプルーニングがGANに適用できないことを示す。 次に、訓練された判別器を用いて圧縮発電機の訓練を監督する自己教師圧縮手法を開発する。 我々は,このフレームワークが高い疎度に対して魅力的な性能を示し,新しいタスクやモデルに容易に適用できることを示し,異なるプルーニング粒度間の有意義な比較を可能にする。
  論文  参考訳（メタデータ） (2020-07-03T04:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。