論文の概要: PFGDF: Pruning Filter via Gaussian Distribution Feature for Deep Neural Networks Acceleration

• arxiv url: http://arxiv.org/abs/2006.12963v3
• Date: Thu, 26 May 2022 15:48:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 23:19:24.825001
• Title: PFGDF: Pruning Filter via Gaussian Distribution Feature for Deep Neural Networks Acceleration
• Title（参考訳）: PFGDF:ディープニューラルネットワーク高速化のためのガウス分布特徴によるプルーニングフィルタ
• Authors: Jianrong Xu, Boyu Diao, Bifeng Cui, Kang Yang, Chao Li, Yongjun Xu
• Abstract要約: 本稿では,深層ニューラルネットワークのデータ分散特性に基づく新しい圧縮・加速手法を提案する。 PFGDFは、スパース重み行列を処理するために特別な加速ライブラリを必要としないため、重量分散プルーニングと大きく異なる。 CIFAR-10では、PFGDFはVGG-16上の畳み込みフィルタを66.62%圧縮し、90%以上のパラメータを削減し、Huawei MATE 10では推論時間を83.73%高速化する。
• 参考スコア（独自算出の注目度）: 10.660348939149943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has achieved impressive results in many areas, but the deployment of edge intelligent devices is still very slow. To solve this problem, we propose a novel compression and acceleration method based on data distribution characteristics for deep neural networks, namely Pruning Filter via Gaussian Distribution Feature (PFGDF). Compared with previous advanced pruning methods, PFGDF compresses the model by filters with insignificance in distribution, regardless of the contribution and sensitivity information of the convolution filter. PFGDF is significantly different from weight sparsification pruning because it does not require the special accelerated library to process the sparse weight matrix and introduces no more extra parameters. The pruning process of PFGDF is automated. Furthermore, the model compressed by PFGDF can restore the same performance as the uncompressed model. We evaluate PFGDF through extensive experiments, on CIFAR-10, PFGDF compresses the convolution filter on VGG-16 by 66.62% with more than 90% parameter reduced, while the inference time is accelerated by 83.73% on Huawei MATE 10.
• Abstract（参考訳）: ディープラーニングは多くの分野で素晴らしい成果を上げているが、エッジインテリジェントデバイスのデプロイは依然として非常に遅い。 そこで本研究では,深層ニューラルネットワークにおけるデータ分散特性,すなわちガウス分布特徴を用いたプルーニングフィルタ(PFGDF)に基づく新しい圧縮・加速手法を提案する。 従来の先進的なプルーニング法と比較して,PFGDFはコンボリューションフィルタの寄与や感度情報に関係なく,分布に差のないフィルタによってモデルを圧縮する。 PFGDFは、スパース重み行列を処理するために特別な加速ライブラリを必要とせず、余分なパラメータを導入しないため、重量分散プルーニングと大きく異なる。 PFGDFのプルーニングプロセスは自動化されている。 さらに、pfgdfにより圧縮されたモデルは、未圧縮モデルと同じ性能を回復することができる。 CIFAR-10では、PFGDFはVGG-16上の畳み込みフィルタを66.62%圧縮し、90%以上のパラメータを削減し、Huawei MATE 10では推論時間を83.73%高速化する。

関連論文リスト

• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Decoupled Dynamic Filter Networks [85.38058820176047]
  これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
  論文  参考訳（メタデータ） (2021-04-29T04:55:33Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• Softer Pruning, Incremental Regularization [12.190136491373359]
  ソフト・フィルタ・プルーニング (SFP) 法は、次の訓練の時期において、トレーニング中のプルーニングフィルタをゼロにし、それらを更新する。 訓練されたプルーニングフィルタを利用するために、SofteR Filter Pruning (S RFP)法とその変種であるAsymptotic SofteR Filter Pruning (AS RFP)法を提案した。 提案手法は, 各種ネットワーク, データセット, プルーニングレートで良好に動作し, 重み付きプルーニングにも適用可能である。
  論文  参考訳（メタデータ） (2020-10-19T13:37:19Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。