Fugu-MT 論文翻訳(概要): Filter Pruning For CNN With Enhanced Linear Representation Redundancy

論文の概要: Filter Pruning For CNN With Enhanced Linear Representation Redundancy

arxiv url: http://arxiv.org/abs/2310.06344v1
Date: Tue, 10 Oct 2023 06:27:30 GMT
ステータス: 処理完了
システム内更新日: 2023-10-11 20:37:34.262308
Title: Filter Pruning For CNN With Enhanced Linear Representation Redundancy
Title（参考訳）: 線形表現冗長性を強化したCNNのためのフィルタプルーニング
Authors: Bojue Wang, Chunmei Ma, Bin Liu, Nianbo Liu, Jinqi Zhu
Abstract要約: 本稿では,CCM-loss という同一層内の異なる特徴写像の相関行列から計算したデータ駆動損失関数の項を示す。 CCM-lossは、L*-ノルム正規化以外に、別の普遍的超越数学的ツールを提供する。新しい戦略では、主にネットワーク内の情報フローの整合性と整合性に注目します。
参考スコア（独自算出の注目度）: 3.853146967741941
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Structured network pruning excels non-structured methods because they can take advantage of the thriving developed parallel computing techniques. In this paper, we propose a new structured pruning method. Firstly, to create more structured redundancy, we present a data-driven loss function term calculated from the correlation coefficient matrix of different feature maps in the same layer, named CCM-loss. This loss term can encourage the neural network to learn stronger linear representation relations between feature maps during the training from the scratch so that more homogenous parts can be removed later in pruning. CCM-loss provides us with another universal transcendental mathematical tool besides L*-norm regularization, which concentrates on generating zeros, to generate more redundancy but for the different genres. Furthermore, we design a matching channel selection strategy based on principal components analysis to exploit the maximum potential ability of CCM-loss. In our new strategy, we mainly focus on the consistency and integrality of the information flow in the network. Instead of empirically hard-code the retain ratio for each layer, our channel selection strategy can dynamically adjust each layer's retain ratio according to the specific circumstance of a per-trained model to push the prune ratio to the limit. Notably, on the Cifar-10 dataset, our method brings 93.64% accuracy for pruned VGG-16 with only 1.40M parameters and 49.60M FLOPs, the pruned ratios for parameters and FLOPs are 90.6% and 84.2%, respectively. For ResNet-50 trained on the ImageNet dataset, our approach achieves 42.8% and 47.3% storage and computation reductions, respectively, with an accuracy of 76.23%. Our code is available at https://github.com/Bojue-Wang/CCM-LRR.
Abstract（参考訳）: 構造的ネットワークプルーニングは, 並列計算技術に長けているため, 非構造的手法が優れている。本稿では,新しい構造的刈り取り法を提案する。まず,より構造化された冗長性を実現するために,同一層内の異なる特徴マップの相関係数行列から計算したデータ駆動損失関数項(ccm-loss)を提案する。この損失項により、ニューラルネットワークはトレーニング中に特徴マップ間のより強い線形表現関係をスクラッチから学習し、より均質な部分をプルーニング後に取り除くことができる。 CCM-lossは、ゼロを生成することに集中するL*-ノルム正規化以外に、別の普遍的超越数学的ツールを提供し、より冗長性を生み出す。さらに,ccm-lossの最大ポテンシャルを活用すべく,主成分分析に基づくマッチングチャネル選択戦略を設計する。新しい戦略では、ネットワークにおける情報フローの一貫性と統合性に重点を置いています。チャネル選択戦略は,各層の保持率を実験的にハードコードする代わりに,訓練対象モデルの特定の状況に応じて各層の保持比を動的に調整し,プルー比を限界まで押し上げる。とくに、Cifar-10データセットでは、パラメータが1.40M、FLOPが49.60MでプルーニングされたVGG-16の精度が93.64%、パラメータが90.6%、FLOPが84.2%である。 ImageNetデータセットでトレーニングされたResNet-50では、それぞれ42.8%と47.3%のストレージと計算の削減を達成した。私たちのコードはhttps://github.com/Bojue-Wang/CCM-LRRで公開されています。

関連論文リスト

EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。提案手法はいくつかの最先端手法より一貫して優れている。
論文参考訳（メタデータ） (2022-11-19T09:08:43Z)
A pruning method based on the dissimilarity of angle among channels and filters [13.878426750493784]
畳み込みネットワークを符号化し、異なる符号化ノードの類似性を得る。我々は、類似性に基づいて、畳み込みカーネル間の接続能力を評価する。角度の相似性(DACP)に基づくチャネルプルーニングベースを提案する。
論文参考訳（メタデータ） (2022-10-29T05:47:57Z)
End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文参考訳（メタデータ） (2022-04-15T10:21:05Z)
Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning [1.3467579878240454]
畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。 CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
論文参考訳（メタデータ） (2021-08-06T00:04:02Z)
Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文参考訳（メタデータ） (2021-08-02T08:21:44Z)
Model Pruning Based on Quantified Similarity of Feature Maps [5.271060872578571]
3次元テンソルに冗長な情報を見つけるための新しい理論を提案する。この理論を畳み込みニューラルネットワークを駆使して推論速度を向上させる。
論文参考訳（メタデータ） (2021-05-13T02:57:30Z)
Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文参考訳（メタデータ） (2021-01-20T06:18:38Z)
ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN [6.662639002101124]
近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。新規な自動チャネル切断法(ACP)を提案する。 ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
論文参考訳（メタデータ） (2021-01-16T08:56:38Z)
Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文参考訳（メタデータ） (2020-11-29T12:51:16Z)
Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2020-04-06T15:51:00Z)
Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。