論文の概要: SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of
DNNs with Ultra-High Efficiency
- arxiv url: http://arxiv.org/abs/2001.08839v1
- Date: Thu, 23 Jan 2020 22:45:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 09:52:23.229008
- Title: SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of
DNNs with Ultra-High Efficiency
- Title（参考訳）: SS-Auto:超高効率DNNの単ショット自動構造化軽量打ち込みフレームワーク
- Authors: Zhengang Li, Yifan Gong, Xiaolong Ma, Sijia Liu, Mengshu Sun, Zheng
Zhan, Zhenglun Kong, Geng Yuan, Yanzhi Wang
- Abstract要約: 本稿では,構造的重み付けの限界を緩和する枠組みを提案する。
提案手法は精度を保ちながら超高速を実現することができる。
CIFARAR-100データセットの実験により、提案したフレームワークが超高精度に実現できることが示された。
- 参考スコア（独自算出の注目度）: 42.63352504047665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured weight pruning is a representative model compression technique of
DNNs for hardware efficiency and inference accelerations. Previous works in
this area leave great space for improvement since sparse structures with
combinations of different structured pruning schemes are not exploited fully
and efficiently. To mitigate the limitations, we propose SS-Auto, a
single-shot, automatic structured pruning framework that can achieve row
pruning and column pruning simultaneously. We adopt soft constraint-based
formulation to alleviate the strong non-convexity of l0-norm constraints used
in state-of-the-art ADMM-based methods for faster convergence and fewer
hyperparameters. Instead of solving the problem directly, a Primal-Proximal
solution is proposed to avoid the pitfall of penalizing all weights equally,
thereby enhancing the accuracy. Extensive experiments on CIFAR-10 and CIFAR-100
datasets demonstrate that the proposed framework can achieve ultra-high pruning
rates while maintaining accuracy. Furthermore, significant inference speedup
has been observed from the proposed framework through actual measurements on
the smartphone.
- Abstract（参考訳）: ハードウェア効率と推論高速化のためのDNNの代表的なモデル圧縮技術である。
異なる構造を有する刈り取り方式を組み合わせたスパース構造は, 完全かつ効率的には利用されないため, これまでの作業は改善の余地を残している。
この制限を緩和するために,一発で自動構造式プルーニングフレームワークであるSS-Autoを提案し,同時に行プルーニングと列プルーニングを実現する。
我々は,最先端admm法で使用されるl0ノルム制約の強い非凸性を軽減するために,ソフト制約に基づく定式化を採用する。
この問題を直接解く代わりに、全ての重みを等しくペナルティする落とし穴を避けるため、原始近位解が提案され、精度が向上する。
CIFAR-10とCIFAR-100データセットの大規模な実験により、提案フレームワークは精度を保ちながら超高プルーニング率を達成することができることを示した。
さらに,スマートフォン上での実際の計測により,提案手法から重要な推論速度が観測されている。
関連論文リスト
- Achieving Constraints in Neural Networks: A Stochastic Augmented
Lagrangian Approach [49.1574468325115]
DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。
制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。
我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
論文 参考訳（メタデータ） (2023-10-25T13:55:35Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-22T23:53:14Z) - Only Train Once: A One-Shot Neural Network Training And Pruning
Framework [31.959625731943675]
構造化プルーニング(Structured pruning)は、リソース制約のあるデバイスにディープニューラルネットワーク(DNN)をデプロイする際に一般的に使用されるテクニックである。
我々は,DNNが競争性能と,OTO(Not-Train-Once)によるFLOPの大幅な削減に敏感なフレームワークを提案する。
OTOには2つのキーが含まれている: (i) DNNのパラメータをゼロ不変群に分割し、出力に影響を与えることなくゼロ群をプルークすることができる; (ii)ゼロ群をプロモートするために、構造化画像最適化アルゴリズムであるHalf-Space Projected (HSPG)を定式化する。
OTOの有効性を示すために、私たちはトレーニングとトレーニングを行います。
論文 参考訳（メタデータ） (2021-07-15T17:15:20Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - MLPruning: A Multilevel Structured Pruning Framework for
Transformer-based Models [78.45898846056303]
プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。
我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
論文 参考訳（メタデータ） (2021-05-30T22:00:44Z) - A Unified DNN Weight Compression Framework Using Reweighted Optimization
Methods [31.869228048294445]
指定された制約に縛られた動的に更新された正規化項を持つ統合DNN重み決定フレームワークを提案する。
また、異なるDNN圧縮タスクを組み合わせるための統合フレームワークにもメソッドを拡張します。
論文 参考訳（メタデータ） (2020-04-12T02:59:06Z) - A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration
Framework [56.57225686288006]
モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。
従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。
プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-13T23:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。