論文の概要: ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN

• arxiv url: http://arxiv.org/abs/2101.06407v1
• Date: Sat, 16 Jan 2021 08:56:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 04:32:08.301049
• Title: ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN
• Title（参考訳）: ACP: CNNのクラスタリングとSwarmインテリジェンス最適化によるチャンネルの自動プルーニング
• Authors: Jingfei Chang, Yang Lu, Ping Xue, Yiqun Xu, and Zhen Wei
• Abstract要約: 近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。 既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。 新規な自動チャネル切断法(ACP)を提案する。 ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
• 参考スコア（独自算出の注目度）: 6.662639002101124
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As the convolutional neural network (CNN) gets deeper and wider in recent years, the requirements for the amount of data and hardware resources have gradually increased. Meanwhile, CNN also reveals salient redundancy in several tasks. The existing magnitude-based pruning methods are efficient, but the performance of the compressed network is unpredictable. While the accuracy loss after pruning based on the structure sensitivity is relatively slight, the process is time-consuming and the algorithm complexity is notable. In this article, we propose a novel automatic channel pruning method (ACP). Specifically, we firstly perform layer-wise channel clustering via the similarity of the feature maps to perform preliminary pruning on the network. Then a population initialization method is introduced to transform the pruned structure into a candidate population. Finally, we conduct searching and optimizing iteratively based on the particle swarm optimization (PSO) to find the optimal compressed structure. The compact network is then retrained to mitigate the accuracy loss from pruning. Our method is evaluated against several state-of-the-art CNNs on three different classification datasets CIFAR-10/100 and ILSVRC-2012. On the ILSVRC-2012, when removing 64.36% parameters and 63.34% floating-point operations (FLOPs) of ResNet-50, the Top-1 and Top-5 accuracy drop are less than 0.9%. Moreover, we demonstrate that without harming overall performance it is possible to compress SSD by more than 50% on the target detection dataset PASCAL VOC. It further verifies that the proposed method can also be applied to other CNNs and application scenarios.
• Abstract（参考訳）: 近年、畳み込みニューラルネットワーク(CNN)がより深く、より広くなっているため、データとハードウェアリソースの量に対する要求は徐々に高まっている。 一方、CNNはいくつかのタスクで有能な冗長性を明らかにしている。 既存のマグニチュードベースのプルーニング手法は効率的だが、圧縮されたネットワークの性能は予測できない。 構造感度に基づくプルーニング後の精度損失は比較的小さいが, プロセスは時間がかかり, アルゴリズムの複雑さも顕著である。 本稿では,新しい自動チャネルプルーニング法(ACP)を提案する。 具体的には,ネットワーク上でプリミティブ・プルーニングを行うために,特徴マップの類似性を介して階層型チャネルクラスタリングを行う。 次に, 集団初期化手法を導入して, 刈り取られた構造を候補集団に変換する。 最後に, 最適圧縮構造を求めるため, 粒子群最適化 (pso) に基づく探索と最適化を反復的に行う。 そして、コンパクトネットワークをリトレーニングしてプルーニングによる精度損失を軽減する。 CIFAR-10/100 と ILSVRC-2012 の3種類の分類データセットを用いて,最新の CNN と比較した。 ilsvrc-2012では、64.36%のパラメータと63.34%のresnet-50の浮動小数点演算(flops)を除去した場合、top-1とtop-5の精度低下は0.9%未満である。 さらに,全体的な性能を損なうことなく,ターゲット検出データセットpascal voc上でssdを50%以上圧縮できることを実証する。 さらに,提案手法が他のCNNやアプリケーションシナリオにも適用可能であることを確認する。

関連論文リスト

• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• A Proximal Algorithm for Network Slimming [2.8148957592979427]
  畳み込みニューラルネットワーク(CNN)の一般的なチャネルプルーニング法は、CNNの訓練に段階的な降下を用いる。 我々は、CNNをスパースで正確な構造に向けて訓練するための、近位NSと呼ばれる代替アルゴリズムを開発した。 実験の結果,1ラウンドのトレーニングの後,近位NSは競争精度と圧縮性を備えたCNNが得られることがわかった。
  論文  参考訳（メタデータ） (2023-07-02T23:34:12Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• A Passive Similarity based CNN Filter Pruning for Efficient Acoustic Scene Classification [23.661189257759535]
  音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。 本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。 提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
  論文  参考訳（メタデータ） (2022-03-29T17:00:06Z)
• Automatic Neural Network Pruning that Efficiently Preserves the Model Accuracy [2.538209532048867]
  プルーニングフィルタは一般的な解であるが、既存のプルーニング法ではモデルの精度を効率的に保たない。 本研究では,FLOPを予め定義された目標に還元しつつ,モデル精度を維持するためにどのニューロンを保存すべきかを学習する自動プルーニング手法を提案する。 ResNet-50では52.00%のFLOPが減少し,prun処理後のTop-1精度は47.51%,微細加工後のSOTA精度は76.63%であった。
  論文  参考訳（メタデータ） (2021-11-18T11:29:35Z)
• AIP: Adversarial Iterative Pruning Based on Knowledge Transfer for Convolutional Neural Networks [7.147985297123097]
  畳み込みニューラルネットワーク(CNN)には、かなりの計算コストがかかる。 現在のプルーニング法ではCNNを少ない性能低下で圧縮することができるが、プルーニング比が大きくなると精度の低下がより深刻になる。 本稿では,知識伝達に基づくCNNのための新しい逆反復刈取法(AIP)を提案する。
  論文  参考訳（メタデータ） (2021-08-31T02:38:36Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
  深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。 それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
  論文  参考訳（メタデータ） (2020-10-03T01:51:06Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。