論文の概要: Unified Data-Free Compression: Pruning and Quantization without
Fine-Tuning
- arxiv url: http://arxiv.org/abs/2308.07209v1
- Date: Mon, 14 Aug 2023 15:25:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 12:48:17.783315
- Title: Unified Data-Free Compression: Pruning and Quantization without
Fine-Tuning
- Title（参考訳）: 統一データフリー圧縮:微調整なしプルーニングと量子化
- Authors: Shipeng Bai, Jun Chen, Xintian Shen, Yixuan Qian, Yong Liu
- Abstract要約: 我々は,データや微調整処理を伴わずに,プルーニングと量子化を同時に行う,Unified Data-Free Compression (UDFC) という新しいフレームワークを提案する。
大規模画像分類タスクにおいてUDFCを評価し,様々なネットワークアーキテクチャや圧縮手法に対して大幅な改善が得られた。
- 参考スコア（独自算出の注目度）: 12.982673904306633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured pruning and quantization are promising approaches for reducing the
inference time and memory footprint of neural networks. However, most existing
methods require the original training dataset to fine-tune the model. This not
only brings heavy resource consumption but also is not possible for
applications with sensitive or proprietary data due to privacy and security
concerns. Therefore, a few data-free methods are proposed to address this
problem, but they perform data-free pruning and quantization separately, which
does not explore the complementarity of pruning and quantization. In this
paper, we propose a novel framework named Unified Data-Free Compression(UDFC),
which performs pruning and quantization simultaneously without any data and
fine-tuning process. Specifically, UDFC starts with the assumption that the
partial information of a damaged(e.g., pruned or quantized) channel can be
preserved by a linear combination of other channels, and then derives the
reconstruction form from the assumption to restore the information loss due to
compression. Finally, we formulate the reconstruction error between the
original network and its compressed network, and theoretically deduce the
closed-form solution. We evaluate the UDFC on the large-scale image
classification task and obtain significant improvements over various network
architectures and compression methods. For example, we achieve a 20.54%
accuracy improvement on ImageNet dataset compared to SOTA method with 30%
pruning ratio and 6-bit quantization on ResNet-34.
- Abstract（参考訳）: 構造化プルーニングと量子化は、ニューラルネットワークの推論時間とメモリフットプリントを削減するための有望なアプローチである。
しかし、既存のほとんどのメソッドはモデルを微調整するためにオリジナルのトレーニングデータセットを必要とする。
これは大量のリソース消費をもたらすだけでなく、プライバシやセキュリティ上の懸念から、機密データやプロプライエタリなデータを持つアプリケーションでは不可能である。
そのため、この問題に対処するためにいくつかのデータフリー手法が提案されているが、データフリープルーニングと量子化を別々に行うため、プルーニングと量子化の相補性を探求しない。
本稿では,データや微調整処理を伴わずに,プルーニングと量子化を同時に行うUDFC(Unified Data-Free Compression)という新しいフレームワークを提案する。
具体的には、UDFCは、破損した(プルーニングまたは量子化された)チャネルの部分情報を他のチャネルの線形結合で保存できるという仮定から始まり、その仮定から再構成形式を導出し、圧縮による情報損失を回復する。
最後に、元のネットワークとその圧縮ネットワーク間の再構成誤差を定式化し、理論的に閉形式解を導出する。
大規模画像分類タスクにおいてUDFCを評価し,様々なネットワークアーキテクチャや圧縮手法に対して大幅な改善が得られた。
例えば、イメージネットデータセットにおいて、30%のプルーニング比とResNet-34上の6ビット量子化を持つSOTA法と比較して、20.54%の精度向上を実現している。
関連論文リスト
- AutoDFP: Automatic Data-Free Pruning via Channel Similarity
Reconstruction [18.589013910402237]
本研究では, 微調整を伴わずに自動刈り取りと再構築を実現するAutoDFP(Automatic Data-Free Pruning)手法を提案する。
複数のデータセット上で複数のネットワークでAutoDFPを評価し,印象的な圧縮結果を得た。
論文 参考訳（メタデータ） (2024-03-13T02:56:31Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳（メタデータ） (2023-08-21T07:24:29Z) - OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。
OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。
本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
論文 参考訳（メタデータ） (2022-05-23T09:05:25Z) - SQuant: On-the-Fly Data-Free Quantization via Diagonal Hessian
Approximation [22.782678826199206]
ディープニューラルネットワーク(DNN)の量子化は、モデルの圧縮と加速に有効であることが証明されている。
データフリー量子化(DFQ)は、プライバシに敏感で機密性の高いシナリオの下で、オリジナルのデータセットなしでは有望なアプローチである。
本稿では,サブ秒単位の量子化時間を持つDFQフレームワークSQuantを提案する。
論文 参考訳（メタデータ） (2022-02-14T01:57:33Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳（メタデータ） (2022-02-09T18:48:02Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - Single-path Bit Sharing for Automatic Loss-aware Model Compression [126.98903867768732]
シングルパスビット共有(SBS)は、計算コストを大幅に削減し、有望な性能を達成する。
SBS圧縮MobileNetV2は、Top-1の精度がわずか0.1%低下した22.6倍ビット演算(BOP)を実現する。
論文 参考訳（メタデータ） (2021-01-13T08:28:21Z) - Tensor Reordering for CNN Compression [7.228285747845778]
畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。
提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
論文 参考訳（メタデータ） (2020-10-22T23:45:34Z) - UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks
Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。
それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。
CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文 参考訳（メタデータ） (2020-10-03T01:51:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。