論文の概要: Learnable Mixed-precision and Dimension Reduction Co-design for
Low-storage Activation
- arxiv url: http://arxiv.org/abs/2207.07931v2
- Date: Tue, 19 Jul 2022 02:36:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 11:15:28.521533
- Title: Learnable Mixed-precision and Dimension Reduction Co-design for
Low-storage Activation
- Title(参考訳): 低storageアクティベーションのための学習可能な混合精度と次元縮小共設計
- Authors: Yu-Shan Tai, Cheng-Yang Chang, Chieh-Fang Teng, and AnYeu (Andy) Wu
- Abstract要約: 深層畳み込みニューラルネットワーク(CNN)は多くの眼球運動の結果を得た。
リソース制約のあるエッジデバイスにCNNをデプロイすることは、推論中に大きな中間データを送信するためのメモリ帯域幅の制限によって制限される。
チャネルをグループに分割し,その重要度に応じて圧縮ポリシーを割り当てる,学習可能な混合精度・次元縮小協調設計システムを提案する。
- 参考スコア(独自算出の注目度): 9.838135675969026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, deep convolutional neural networks (CNNs) have achieved many
eye-catching results. However, deploying CNNs on resource-constrained edge
devices is constrained by limited memory bandwidth for transmitting large
intermediated data during inference, i.e., activation. Existing research
utilizes mixed-precision and dimension reduction to reduce computational
complexity but pays less attention to its application for activation
compression. To further exploit the redundancy in activation, we propose a
learnable mixed-precision and dimension reduction co-design system, which
separates channels into groups and allocates specific compression policies
according to their importance. In addition, the proposed dynamic searching
technique enlarges search space and finds out the optimal bit-width allocation
automatically. Our experimental results show that the proposed methods improve
3.54%/1.27% in accuracy and save 0.18/2.02 bits per value over existing
mixed-precision methods on ResNet18 and MobileNetv2, respectively.
- Abstract(参考訳): 近年、深層畳み込みニューラルネットワーク (CNN) は眼球運動の結果を多く達成している。
しかしながら、リソース制約のあるエッジデバイスへのcnnのデプロイは、推論、すなわちアクティベーション中に大きな中間データを送信するためのメモリ帯域幅の制限によって制限される。
既存の研究は、計算の複雑さを減らすために混合精度と次元の縮小を利用するが、アクティベーション圧縮への応用にはあまり注意を払わない。
活性化の冗長性をさらに活用するために,チャネルをグループに分け,その重要度に応じて特定の圧縮ポリシーを割り当てる学習可能な混合精度・次元縮小コデザインシステムを提案する。
さらに,提案手法は探索空間を拡大し,最適なビット幅割り当てを自動的に検出する。
実験の結果,提案手法の精度は3.54%/1.27%向上し,既存のResNet18とMobileNetv2の混合精度に比べて0.18/2.02ビットの削減が可能であった。
関連論文リスト
- LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization [51.9395471326897]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-01-26T05:23:11Z) - Bandwidth-efficient Inference for Neural Image Compression [26.87198174202502]
本稿では,ニューラルデータ圧縮法により圧縮されたアクティベーションを用いた終端から終端までの帯域幅効率のよいニューラル推論法を提案する。
既存のモデル量子化法により最適化され、画像圧縮の低レベルタスクは6.21倍の省エネで最大19倍の帯域幅を削減できる。
論文 参考訳(メタデータ) (2023-09-06T09:31:37Z) - Self-Attentive Pooling for Efficient Deep Learning [6.822466048176652]
そこで本研究では,標準プーリング層に対するドロップイン代替として使用可能な,非局所的な自己係留型プーリング手法を提案する。
我々は、ImageNet上のMobileNet-V2の様々な変種に対する既存のプール技術のテスト精度を平均1.2%上回る。
提案手法は,イソメモリフットプリントを用いたSOTA技術と比較して1.43%高い精度を実現している。
論文 参考訳(メタデータ) (2022-09-16T00:35:14Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳(メタデータ) (2022-02-09T18:48:02Z) - Compression-aware Projection with Greedy Dimension Reduction for
Convolutional Neural Network Activations [3.6188659868203388]
分類精度と圧縮比のトレードオフを改善するための圧縮対応投影システムを提案する。
提案手法は,MobileNetV2/ResNet18/VGG16の精度低下により2.91x5.97xのメモリアクセスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2021-10-17T14:02:02Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳(メタデータ) (2021-08-28T20:39:54Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - A Variational Information Bottleneck Based Method to Compress Sequential
Networks for Human Action Recognition [9.414818018857316]
本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。
変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。
我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。
提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
論文 参考訳(メタデータ) (2020-10-03T12:41:51Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳(メタデータ) (2020-06-28T23:09:27Z) - Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。
RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。
ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
論文 参考訳(メタデータ) (2020-03-16T16:54:36Z) - Mixed-Precision Quantized Neural Network with Progressively Decreasing
Bitwidth For Image Classification and Object Detection [21.48875255723581]
ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。
典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
論文 参考訳(メタデータ) (2019-12-29T14:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。