論文の概要: A Highly Effective Low-Rank Compression of Deep Neural Networks with
Modified Beam-Search and Modified Stable Rank
- arxiv url: http://arxiv.org/abs/2111.15179v1
- Date: Tue, 30 Nov 2021 07:36:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-01 13:28:19.552574
- Title: A Highly Effective Low-Rank Compression of Deep Neural Networks with
Modified Beam-Search and Modified Stable Rank
- Title（参考訳）: 改良ビームサーチと修正安定ランクを有するディープニューラルネットワークの高効率低ランク圧縮
- Authors: Moonjung Eo, Suhyun Kang, Wonjong Rhee
- Abstract要約: 自動ランク選択にビームサーチを改良し,圧縮フレンドリーなトレーニングに安定度を改良した低ランク圧縮法を提案する。
BSRの精度と圧縮比トレードオフ曲線のパフォーマンスは、これまで知られていた低ランク圧縮法よりも優れていることが判明した。
- 参考スコア（独自算出の注目度）: 3.0938904602244355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compression has emerged as one of the essential deep learning research
topics, especially for the edge devices that have limited computation power and
storage capacity. Among the main compression techniques, low-rank compression
via matrix factorization has been known to have two problems. First, an
extensive tuning is required. Second, the resulting compression performance is
typically not impressive. In this work, we propose a low-rank compression
method that utilizes a modified beam-search for an automatic rank selection and
a modified stable rank for a compression-friendly training. The resulting BSR
(Beam-search and Stable Rank) algorithm requires only a single hyperparameter
to be tuned for the desired compression ratio. The performance of BSR in terms
of accuracy and compression ratio trade-off curve turns out to be superior to
the previously known low-rank compression methods. Furthermore, BSR can perform
on par with or better than the state-of-the-art structured pruning methods. As
with pruning, BSR can be easily combined with quantization for an additional
compression.
- Abstract（参考訳）: 圧縮は、特に計算能力とストレージ容量に制限のあるエッジデバイスにおいて、重要なディープラーニング研究トピックの1つとして現れている。
主な圧縮技術のうち、行列分解による低ランク圧縮には2つの問題があることが知られている。
まず、幅広いチューニングが必要である。
第二に、結果の圧縮性能は一般的に印象的ではない。
本研究では,変形ビーム探索を自動ランク選択に利用し,変形安定ランクを圧縮フレンドリーなトレーニングに利用する低ランク圧縮法を提案する。
結果として得られるBSR(Beam-search and Staable Rank)アルゴリズムは、所望の圧縮比を調整するために1つのハイパーパラメータのみを必要とする。
BSRの精度と圧縮比トレードオフ曲線のパフォーマンスは、これまで知られていた低ランク圧縮法よりも優れていることが判明した。
さらに、BSRは最先端の構造化プルーニング法と同等以上の性能を発揮する。
プルーニングと同様に、BSRはさらなる圧縮のために量子化と簡単に組み合わせることができる。
関連論文リスト
- LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - HyCoT: A Transformer-Based Autoencoder for Hyperspectral Image Compression [6.0163252984457145]
ハイパースペクトル圧縮変換器 (Hyperspectral Compression Transformer, HyCoT) は、画素ワイドHSI圧縮のためのトランスフォーマーベースのオートエンコーダである。
HySpecNet-11kデータセットの実験結果は、HyCoTがPSNRの1dBを超える圧縮比で芸術の状態を超越していることを示している。
論文 参考訳（メタデータ） (2024-08-16T12:27:46Z) - UniCompress: Enhancing Multi-Data Medical Image Compression with Knowledge Distillation [59.3877309501938]
Inlicit Neural Representation (INR) ネットワークは、その柔軟な圧縮比のため、顕著な汎用性を示している。
周波数領域情報を含むコードブックをINRネットワークへの事前入力として導入する。
これにより、INRの表現力が向上し、異なる画像ブロックに対して特異な条件付けが提供される。
論文 参考訳（メタデータ） (2024-05-27T05:52:13Z) - Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN [5.25545980258284]
本稿では,複数の圧縮手法を最も効率的な順序で適用するための,体系的かつ最適なシーケンスを提案する。
提案手法では,ResNet34の計算コストを最大859倍に削減する。
我々は, モデル圧縮の行程をシンプルかつ効果的に探索することで, モデル圧縮の実践に光を当てることができると考えている。
論文 参考訳（メタデータ） (2024-03-26T07:26:00Z) - Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。
精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
論文 参考訳（メタデータ） (2023-08-08T14:10:16Z) - DiffRate : Differentiable Compression Rate for Efficient Vision
Transformers [98.33906104846386]
Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。
DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
論文 参考訳（メタデータ） (2023-05-29T10:15:19Z) - Towards Hardware-Specific Automatic Compression of Neural Networks [0.0]
プルーニングと量子化が ニューラルネットワークを圧縮する主要なアプローチです
効率的な圧縮ポリシーは、特定のハードウェアアーキテクチャが使用する圧縮方法に与える影響を考慮する。
本稿では,プレニングと量子化を利用した強化学習を用いて,Galenと呼ばれるアルゴリズムフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-15T13:34:02Z) - Implicit Neural Representations for Image Compression [103.78615661013623]
Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。
量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。
我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
論文 参考訳（メタデータ） (2021-12-08T13:02:53Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳（メタデータ） (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。