論文の概要: A pruning method based on the dissimilarity of angle among channels and
filters
- arxiv url: http://arxiv.org/abs/2210.16504v1
- Date: Sat, 29 Oct 2022 05:47:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 16:08:32.253760
- Title: A pruning method based on the dissimilarity of angle among channels and
filters
- Title(参考訳): チャネルとフィルタの角度の相似性に基づくプルーニング法
- Authors: Jiayi Yao, Ping Li, Xiatao Kang, Yuzhe Wang
- Abstract要約: 畳み込みネットワークを符号化し、異なる符号化ノードの類似性を得る。
我々は、類似性に基づいて、畳み込みカーネル間の接続能力を評価する。
角度の相似性(DACP)に基づくチャネルプルーニングベースを提案する。
- 参考スコア(独自算出の注目度): 13.878426750493784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional Neural Network (CNN) is more and more widely used in various
fileds, and its computation and memory-demand are also increasing
significantly. In order to make it applicable to limited conditions such as
embedded application, network compression comes out. Among them, researchers
pay more attention to network pruning. In this paper, we encode the convolution
network to obtain the similarity of different encoding nodes, and evaluate the
connectivity-power among convolutional kernels on the basis of the similarity.
Then impose different level of penalty according to different
connectivity-power. Meanwhile, we propose Channel Pruning base on the
Dissimilarity of Angle (DACP). Firstly, we train a sparse model by GL penalty,
and impose an angle dissimilarity constraint on the channels and filters of
convolutional network to obtain a more sparse structure. Eventually, the
effectiveness of our method is demonstrated in the section of experiment. On
CIFAR-10, we reduce 66.86% FLOPs on VGG-16 with 93.31% accuracy after pruning,
where FLOPs represents the number of floating-point operations per second of
the model. Moreover, on ResNet-32, we reduce FLOPs by 58.46%, which makes the
accuracy after pruning reach 91.76%.
- Abstract(参考訳): 畳み込みニューラルネットワーク(convolutional neural network, cnn)は,様々な出願で広く利用されている。
組み込みアプリケーションのような限られた条件に適応するために、ネットワーク圧縮が発生する。
中でも研究者たちは、ネットワークプルーニングにもっと注意を払っている。
本稿では、異なる符号化ノードの類似性を得るために畳み込みネットワークを符号化し、類似性に基づいて畳み込みカーネル間の接続電力を評価する。
そして、異なる接続力に応じて異なるレベルのペナルティを課す。
一方,アングルの相似性(DACP)に基づくチャンネルプルーニングベースを提案する。
まず,glペナルティでスパースモデルを訓練し,畳み込みネットワークのチャネルとフィルタに角度の相違性制約を課し,スパース構造を得る。
最終的に,本手法の有効性を実験のセクションで実証した。
CIFAR-10では、VGG-16上で66.86%のFLOPをプルーニング後に93.31%の精度で削減し、FLOPはモデルの毎秒浮動小数点演算数を表す。
さらに,resnet-32ではフロップを58.46%削減し,プルーニング後の精度を91.76%に向上させた。
関連論文リスト
- Filter Pruning For CNN With Enhanced Linear Representation Redundancy [3.853146967741941]
本稿では,CCM-loss という同一層内の異なる特徴写像の相関行列から計算したデータ駆動損失関数の項を示す。
CCM-lossは、L*-ノルム正規化以外に、別の普遍的超越数学的ツールを提供する。
新しい戦略では、主にネットワーク内の情報フローの整合性と整合性に注目します。
論文 参考訳(メタデータ) (2023-10-10T06:27:30Z) - End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。
提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文 参考訳(メタデータ) (2022-04-15T10:21:05Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳(メタデータ) (2021-08-02T08:21:44Z) - ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence
Optimization for CNN [6.662639002101124]
近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。
既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。
新規な自動チャネル切断法(ACP)を提案する。
ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
論文 参考訳(メタデータ) (2021-01-16T08:56:38Z) - Layer Pruning via Fusible Residual Convolutional Block for Deep Neural
Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。
残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。
本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文 参考訳(メタデータ) (2020-11-29T12:51:16Z) - SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。
冗長フィルタは、異なる特徴の逆数過程において発見できる。
提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
論文 参考訳(メタデータ) (2020-10-21T03:02:01Z) - UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks
Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。
それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。
CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文 参考訳(メタデータ) (2020-10-03T01:51:06Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳(メタデータ) (2020-06-21T08:23:03Z) - DMCP: Differentiable Markov Channel Pruning for Neural Networks [67.51334229530273]
DMCP (diffariable Markov Channel Pruning) と命名された新しいチャネルプルーニング法を提案する。
本手法は微分可能であり,標準タスク損失や予算正規化に関して,勾配勾配により直接最適化することができる。
提案手法の有効性を検証するため,ResNet と MobilenetV2 を用いたImagenet 実験を行った。
論文 参考訳(メタデータ) (2020-05-07T09:39:55Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。