論文の概要: Deep Model Compression based on the Training History
- arxiv url: http://arxiv.org/abs/2102.00160v1
- Date: Sat, 30 Jan 2021 06:04:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 16:37:45.156453
- Title: Deep Model Compression based on the Training History
- Title（参考訳）: トレーニング履歴に基づく深層モデル圧縮
- Authors: S.H.Shabbeer Basha, Mohammad Farazuddin, Viswanath Pulabaigari, Shiv
Ram Dubey, Snehasis Mukherjee
- Abstract要約: 本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。
提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
- 参考スコア（独自算出の注目度）: 13.916984628784768
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Convolutional Neural Networks (DCNNs) have shown promising results in
several visual recognition problems which motivated the researchers to propose
popular architectures such as LeNet, AlexNet, VGGNet, ResNet, and many more.
These architectures come at a cost of high computational complexity and
parameter storage. To get rid of storage and computational complexity, deep
model compression methods have been evolved. We propose a novel History Based
Filter Pruning (HBFP) method that utilizes network training history for filter
pruning. Specifically, we prune the redundant filters by observing similar
patterns in the L1-norms of filters (absolute sum of weights) over the training
epochs. We iteratively prune the redundant filters of a CNN in three steps.
First, we train the model and select the filter pairs with redundant filters in
each pair. Next, we optimize the network to increase the similarity between the
filters in a pair. It facilitates us to prune one filter from each pair based
on its importance without much information loss. Finally, we retrain the
network to regain the performance, which is dropped due to filter pruning. We
test our approach on popular architectures such as LeNet-5 on MNIST dataset and
VGG-16, ResNet-56, and ResNet-110 on CIFAR-10 dataset. The proposed pruning
method outperforms the state-of-the-art in terms of FLOPs reduction
(floating-point operations) by 97.98%, 83.42%, 78.43%, and 74.95% for LeNet-5,
VGG-16, ResNet-56, and ResNet-110 models, respectively, while maintaining the
less error rate.
- Abstract（参考訳）: Deep Convolutional Neural Networks(DCNN)は、LeNet、AlexNet、VGGNet、ResNetなどの一般的なアーキテクチャを提案する研究者を刺激するいくつかの視覚認識問題で有望な結果を示しています。
これらのアーキテクチャは、高い計算複雑さとパラメータストレージのコストがかかる。
ストレージと計算の複雑さを取り除くために、ディープモデル圧縮メソッドが進化した。
本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。
具体的には,訓練期間におけるフィルタのl1ノルム(重みの絶対和)の類似パターンを観測することにより冗長フィルタを推定する。
CNNの冗長フィルタを3つのステップで繰り返し消去します。
まず、モデルをトレーニングし、各ペアに冗長なフィルタを持つフィルタペアを選択する。
次に,2組のフィルタ間の類似性を高めるために,ネットワークを最適化する。
情報を失うことなく、その重要性に基づいて、各ペアから1つのフィルターをプルーンすることができます。
最後に、フィルタプルーニングにより低下する性能を取り戻すために、ネットワークを再訓練する。
我々は,MNISTデータセット上のLeNet-5,CIFAR-10データセット上のVGG-16,ResNet-56,ResNet-110などの一般的なアーキテクチャに対するアプローチを検証した。
提案手法は,LeNet-5,VGG-16,ResNet-56,ResNet-110の各モデルにおいて,FLOPの97.98%,83.42%,78.43%,74.95%の低減(浮動小数点演算)をそれぞれ上回る。
関連論文リスト
- Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。
我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-15T04:53:24Z) - Training Compact CNNs for Image Classification using Dynamic-coded
Filter Fusion [139.71852076031962]
動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。
我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。
我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
論文 参考訳（メタデータ） (2021-07-14T18:07:38Z) - Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。
本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
論文 参考訳（メタデータ） (2020-10-28T15:26:40Z) - Filter Grafting for Deep Neural Networks: Reason, Method, and
Cultivation [86.91324735966766]
フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである
本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。
我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
論文 参考訳（メタデータ） (2020-04-26T08:36:26Z) - Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。
われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。
CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文 参考訳（メタデータ） (2020-01-23T13:57:08Z) - Pruning CNN's with linear filter ensembles [0.0]
ネットワークサイズを減らし、(暗黙的に)浮動小数点演算(FLOP)の数を減らすためにプルーニングを使用します。
本稿では,ネットワークアーキテクチャからコンポーネントの存在や削除によって生じる経験的損失の変化に基づく,新しいフィルタ重要基準を開発する。
我々は,CIFAR-10データセットに基づいてトレーニングしたResNetアーキテクチャと同様に,完全に接続されたネットワーク上で本手法を評価する。
論文 参考訳（メタデータ） (2020-01-22T16:52:06Z) - Filter Grafting for Deep Neural Networks [71.39169475500324]
ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト
我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。
例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
論文 参考訳（メタデータ） (2020-01-15T03:18:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。