論文の概要: A Highly Effective Low-Rank Compression of Deep Neural Networks with
Modified Beam-Search and Modified Stable Rank
- arxiv url: http://arxiv.org/abs/2111.15179v2
- Date: Wed, 1 Dec 2021 01:52:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 13:08:02.723510
- Title: A Highly Effective Low-Rank Compression of Deep Neural Networks with
Modified Beam-Search and Modified Stable Rank
- Title(参考訳): 改良ビームサーチと修正安定ランクを有するディープニューラルネットワークの高効率低ランク圧縮
- Authors: Moonjung Eo, Suhyun Kang, Wonjong Rhee
- Abstract要約: 自動ランク選択にビームサーチを改良し,圧縮フレンドリーなトレーニングに安定度を改良した低ランク圧縮法を提案する。
BSRの精度と圧縮比トレードオフ曲線のパフォーマンスは、これまで知られていた低ランク圧縮法よりも優れていることが判明した。
- 参考スコア(独自算出の注目度): 3.0938904602244355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compression has emerged as one of the essential deep learning research
topics, especially for the edge devices that have limited computation power and
storage capacity. Among the main compression techniques, low-rank compression
via matrix factorization has been known to have two problems. First, an
extensive tuning is required. Second, the resulting compression performance is
typically not impressive. In this work, we propose a low-rank compression
method that utilizes a modified beam-search for an automatic rank selection and
a modified stable rank for a compression-friendly training. The resulting BSR
(Beam-search and Stable Rank) algorithm requires only a single hyperparameter
to be tuned for the desired compression ratio. The performance of BSR in terms
of accuracy and compression ratio trade-off curve turns out to be superior to
the previously known low-rank compression methods. Furthermore, BSR can perform
on par with or better than the state-of-the-art structured pruning methods. As
with pruning, BSR can be easily combined with quantization for an additional
compression.
- Abstract(参考訳): 圧縮は、特に計算能力とストレージ容量に制限のあるエッジデバイスにおいて、重要なディープラーニング研究トピックの1つとして現れている。
主な圧縮技術のうち、行列分解による低ランク圧縮には2つの問題があることが知られている。
まず、幅広いチューニングが必要である。
第二に、結果の圧縮性能は一般的に印象的ではない。
本研究では,変形ビーム探索を自動ランク選択に利用し,変形安定ランクを圧縮フレンドリーなトレーニングに利用する低ランク圧縮法を提案する。
結果として得られるBSR(Beam-search and Staable Rank)アルゴリズムは、所望の圧縮比を調整するために1つのハイパーパラメータのみを必要とする。
BSRの精度と圧縮比トレードオフ曲線のパフォーマンスは、これまで知られていた低ランク圧縮法よりも優れていることが判明した。
さらに、BSRは最先端の構造化プルーニング法と同等以上の性能を発揮する。
プルーニングと同様に、BSRはさらなる圧縮のために量子化と簡単に組み合わせることができる。
関連論文リスト
- Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。
精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
論文 参考訳(メタデータ) (2023-08-08T14:10:16Z) - DiffRate : Differentiable Compression Rate for Efficient Vision
Transformers [98.33906104846386]
Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。
DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
論文 参考訳(メタデータ) (2023-05-29T10:15:19Z) - Learning Accurate Performance Predictors for Ultrafast Automated Model
Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。
本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文 参考訳(メタデータ) (2023-04-13T10:52:49Z) - Towards Hardware-Specific Automatic Compression of Neural Networks [0.0]
プルーニングと量子化が ニューラルネットワークを圧縮する主要なアプローチです
効率的な圧縮ポリシーは、特定のハードウェアアーキテクチャが使用する圧縮方法に与える影響を考慮する。
本稿では,プレニングと量子化を利用した強化学習を用いて,Galenと呼ばれるアルゴリズムフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-15T13:34:02Z) - Implicit Neural Representations for Image Compression [103.78615661013623]
Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。
量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。
我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
論文 参考訳(メタデータ) (2021-12-08T13:02:53Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳(メタデータ) (2021-05-24T12:07:38Z) - Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。
高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
論文 参考訳(メタデータ) (2020-11-17T20:32:57Z) - Neural Network Compression Via Sparse Optimization [23.184290795230897]
スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。
我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
論文 参考訳(メタデータ) (2020-11-10T03:03:55Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。