論文の概要: Pruning Filter in Filter

• arxiv url: http://arxiv.org/abs/2009.14410v3
• Date: Wed, 9 Dec 2020 08:35:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-12 23:54:48.282675
• Title: Pruning Filter in Filter
• Title（参考訳）: フィルタのプルーニングフィルタ
• Authors: Fanxu Meng, Hao Cheng, Ke Li, Huixiang Luo, Xiaowei Guo, Guangming Lu, Xing Sun
• Abstract要約: プルーニングは、現代のニューラルネットワークを圧縮し、加速する非常に強力で効果的な技術になっている。 従来のフィルタプルーニング法よりもきめ細かな粒度を実現するため,フィルタ内のフィルタをプルークする手法を提案する。 SWPは従来のFP法よりも有効であることを示し,CIFAR-10とImageNetデータセットの最先端プルーニング比を実現する。
• 参考スコア（独自算出の注目度）: 38.6403556260338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning has become a very powerful and effective technique to compress and accelerate modern neural networks. Existing pruning methods can be grouped into two categories: filter pruning (FP) and weight pruning (WP). FP wins at hardware compatibility but loses at the compression ratio compared with WP. To converge the strength of both methods, we propose to prune the filter in the filter. Specifically, we treat a filter $F \in \mathbb{R}^{C\times K\times K}$ as $K \times K$ stripes, i.e., $1\times 1$ filters $\in \mathbb{R}^{C}$, then by pruning the stripes instead of the whole filter, we can achieve finer granularity than traditional FP while being hardware friendly. We term our method as SWP (\emph{Stripe-Wise Pruning}). SWP is implemented by introducing a novel learnable matrix called Filter Skeleton, whose values reflect the shape of each filter. As some recent work has shown that the pruned architecture is more crucial than the inherited important weights, we argue that the architecture of a single filter, i.e., the shape, also matters. Through extensive experiments, we demonstrate that SWP is more effective compared to the previous FP-based methods and achieves the state-of-art pruning ratio on CIFAR-10 and ImageNet datasets without obvious accuracy drop. Code is available at https://github.com/fxmeng/Pruning-Filter-in-Filter
• Abstract（参考訳）: プルーニングは、現代のニューラルネットワークを圧縮して加速する非常に強力で効果的な技術になっている。 既存のプルーニングメソッドは、フィルタプルーニング(fp)とウェイトプルーニング(wp)の2つのカテゴリに分類できる。 FPはハードウェアの互換性に勝るが、WPと比較して圧縮比に負ける。 両手法の強度を収束させるため,フィルタ内のフィルタをプーンする手法を提案する。 具体的には、フィルタ $f \in \mathbb{r}^{c\times k\times k}$ as $k \times k$ stripes,すなわち、1\times 1$ filter $\in \mathbb{r}^{c}$ を処理し、フィルタ全体の代わりにストリップを刈ることで、従来のfpよりも細かい粒度をハードウェアフレンドリーに実現できる。 この手法をswp(\emph{stripe-wise pruning})と呼ぶ。 swpはフィルタスケルトンと呼ばれる新しい学習可能なマトリックスを導入し、その値は各フィルタの形状を反映している。 最近の研究が示すように、刈り取られたアーキテクチャは継承された重要な重みよりも重要であり、単一フィルタのアーキテクチャ、すなわち形状も重要であると我々は論じている。 大規模な実験により、SWPは従来のFP法よりも効果的であることを示し、CIFAR-10およびImageNetデータセットの最先端プルーニング比を明らかな精度低下なく達成する。 コードはhttps://github.com/fxmeng/Pruning-Filter-in-Filterで入手できる。

関連論文リスト

• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• One-Sided Box Filter for Edge Preserving Image Smoothing [9.67565473617028]
  信号の平滑化はできるが,信号に不連続な特徴を保持する一方的なボックスフィルタを提案する。 より具体的には、8つの片側ウィンドウでボックスフィルタを実行し、片側ボックスフィルタでコーナーとエッジを保存します。
  論文  参考訳（メタデータ） (2021-08-11T04:22:38Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Deep Model Compression based on the Training History [13.916984628784768]
  本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。 提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
  論文  参考訳（メタデータ） (2021-01-30T06:04:21Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。