論文の概要: Efficient Similarity-based Passive Filter Pruning for Compressing CNNs
- arxiv url: http://arxiv.org/abs/2210.17416v1
- Date: Thu, 27 Oct 2022 09:57:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 15:03:48.200337
- Title: Efficient Similarity-based Passive Filter Pruning for Compressing CNNs
- Title（参考訳）: cnn圧縮のための効率的な類似性に基づくパッシブフィルタプルーニング
- Authors: Arshdeep Singh, Mark D. Plumbley
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は様々なアプリケーションで大きな成功を収めている。
CNNの計算複雑性とメモリストレージは、リソース制約のあるデバイスへのデプロイにおいてボトルネックとなる。
CNNの計算コストとメモリオーバーヘッドを削減しようとする最近の取り組みは、類似性に基づくパッシブフィルタプルーニング手法である。
- 参考スコア（独自算出の注目度）: 23.661189257759535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolution neural networks (CNNs) have shown great success in various
applications. However, the computational complexity and memory storage of CNNs
is a bottleneck for their deployment on resource-constrained devices. Recent
efforts towards reducing the computation cost and the memory overhead of CNNs
involve similarity-based passive filter pruning methods. Similarity-based
passive filter pruning methods compute a pairwise similarity matrix for the
filters and eliminate a few similar filters to obtain a small pruned CNN.
However, the computational complexity of computing the pairwise similarity
matrix is high, particularly when a convolutional layer has many filters. To
reduce the computational complexity in obtaining the pairwise similarity
matrix, we propose to use an efficient method where the complete pairwise
similarity matrix is approximated from only a few of its columns by using a
Nystr\"om approximation method. The proposed efficient similarity-based passive
filter pruning method is 3 times faster and gives same accuracy at the same
reduction in computations for CNNs compared to that of the similarity-based
pruning method that computes a complete pairwise similarity matrix. Apart from
this, the proposed efficient similarity-based pruning method performs similarly
or better than the existing norm-based pruning methods. The efficacy of the
proposed pruning method is evaluated on CNNs such as DCASE 2021 Task 1A
baseline network and a VGGish network designed for acoustic scene
classification.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は様々なアプリケーションで大きな成功を収めている。
しかし、CNNの計算複雑性とメモリストレージは、リソース制約のあるデバイスへの展開のボトルネックとなっている。
CNNの計算コストとメモリオーバーヘッドを削減しようとする最近の取り組みは、類似性に基づくパッシブフィルタプルーニング手法である。
類似度に基づくパッシブフィルタプルーニング法は、フィルタのペアワイズ類似度行列を計算し、いくつかの類似フィルタを除去して小さなプルーニングCNNを得る。
しかし、ペアワイズ類似性行列を計算する計算の複雑さは高く、特に畳み込み層が多くのフィルタを持つ場合である。
ペアワイズ類似度行列を得る際の計算の複雑さを軽減するため、nystr\"om近似法を用いて、完全ペアワイズ類似度行列をその列のほんの数列から近似する効率的な方法を提案する。
提案する効率的な類似性に基づくパッシブフィルタプルーニング法は,完全ペアワイズ類似性行列を計算した類似性に基づくプルーニング法と比較して,cnnの計算量の削減と同じ精度で3倍高速である。
これとは別に、提案手法は既存のノルムベースプルーニング法と同等かそれ以上に機能する。
提案手法の有効性を,DCASE 2021 Task 1A ベースラインネットワークや音響シーン分類用に設計されたVGGish ネットワークなどのCNNで評価した。
関連論文リスト
- Learning Partial Correlation based Deep Visual Representation for Image
Classification [61.0532370259644]
CNNの新たな構造層としてスパース逆共分散推定(SICE)を定式化する。
本研究は,部分的相関に基づく深部視覚表現を求め,小さなサンプル問題を緩和する。
実験により,本モデルの有効性と優れた分類性能が示された。
論文 参考訳（メタデータ） (2023-04-23T10:09:01Z) - Efficient CNNs via Passive Filter Pruning [23.661189257759535]
畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。
CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。
CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
論文 参考訳（メタデータ） (2023-04-05T09:19:19Z) - A Passive Similarity based CNN Filter Pruning for Efficient Acoustic
Scene Classification [23.661189257759535]
音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。
本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。
提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
論文 参考訳（メタデータ） (2022-03-29T17:00:06Z) - Sublinear Time Approximation of Text Similarity Matrices [50.73398637380375]
一般的なNystr"om法を不確定な設定に一般化する。
我々のアルゴリズムは任意の類似性行列に適用でき、行列のサイズでサブ線形時間で実行される。
本手法は,CUR分解の単純な変種とともに,様々な類似性行列の近似において非常によく機能することを示す。
論文 参考訳（メタデータ） (2021-12-17T17:04:34Z) - Confusion-based rank similarity filters for computationally-efficient
machine learning on high dimensional data [0.0]
我々は、ランク類似度フィルタ(RSF)と呼ばれる、計算効率の良い新しいタイプの人工知能ニューラルネットワーク(ANN)を導入する。
RSFは、多くのデータポイントと次元を持つ非線形分離可能なデータセットを変換し、分類するために使用することができる。
RST、RCC、RSPCのオープンソースコードは、人気のあるScikit-learnフレームワークを使用してPythonで書かれており、簡単にアクセスできる。
論文 参考訳（メタデータ） (2021-09-28T10:53:38Z) - Training Compact CNNs for Image Classification using Dynamic-coded
Filter Fusion [139.71852076031962]
動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。
我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。
我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
論文 参考訳（メタデータ） (2021-07-14T18:07:38Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳（メタデータ） (2020-02-18T17:42:13Z) - Accelerating Feedforward Computation via Parallel Nonlinear Equation
Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。
本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。
提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文 参考訳（メタデータ） (2020-02-10T10:11:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。