論文の概要: CR-SFP: Learning Consistent Representation for Soft Filter Pruning
- arxiv url: http://arxiv.org/abs/2312.11555v1
- Date: Sun, 17 Dec 2023 06:41:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 18:32:33.716491
- Title: CR-SFP: Learning Consistent Representation for Soft Filter Pruning
- Title（参考訳）: CR-SFP:ソフトフィルタの学習一貫性表現
- Authors: Jingyang Xiang, Zhuangzhi Chen, Jianbiao Mei, Siqi Li, Jun Chen, Yong
Liu
- Abstract要約: ソフトフィルタプルーニング(SFP)は,プルーニングフィルタのネットワークへの更新と再グローを可能にする効果的なプルーニング技術として登場した。
CR-SFPと呼ばれるソフトフィルタプルーニングのための一貫した表現を学習することで,このギャップを軽減することを提案する。
CR-SFPは、追加の推論コストを導入することなくP-NNの精度を向上させるための、シンプルで効果的なトレーニングフレームワークである。
- 参考スコア（独自算出の注目度）: 18.701621806529438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Soft filter pruning~(SFP) has emerged as an effective pruning technique for
allowing pruned filters to update and the opportunity for them to regrow to the
network. However, this pruning strategy applies training and pruning in an
alternative manner, which inevitably causes inconsistent representations
between the reconstructed network~(R-NN) at the training and the pruned
network~(P-NN) at the inference, resulting in performance degradation. In this
paper, we propose to mitigate this gap by learning consistent representation
for soft filter pruning, dubbed as CR-SFP. Specifically, for each training
step, CR-SFP optimizes the R-NN and P-NN simultaneously with different
distorted versions of the same training data, while forcing them to be
consistent by minimizing their posterior distribution via the bidirectional
KL-divergence loss. Meanwhile, the R-NN and P-NN share backbone parameters thus
only additional classifier parameters are introduced. After training, we can
export the P-NN for inference. CR-SFP is a simple yet effective training
framework to improve the accuracy of P-NN without introducing any additional
inference cost. It can also be combined with a variety of pruning criteria and
loss functions. Extensive experiments demonstrate our CR-SFP achieves
consistent improvements across various CNN architectures. Notably, on ImageNet,
our CR-SFP reduces more than 41.8\% FLOPs on ResNet18 with 69.2\% top-1
accuracy, improving SFP by 2.1\% under the same training settings. The code
will be publicly available on GitHub.
- Abstract（参考訳）: soft filter pruning~(sfp)は、pruned filterの更新を可能にする効果的なpruningテクニックとして登場し、ネットワークに復帰する機会となった。
しかし、このプルーニング戦略はトレーニングとプルーニングを別の方法で適用し、トレーニング時に再構成ネットワーク〜(R-NN)と推論時にプルーンドネットワーク〜(P-NN)との間に不整合表現が生じ、性能が低下する。
本稿では,CR-SFPと呼ばれるソフトフィルタプルーニングにおける一貫した表現を学習することで,このギャップを軽減することを提案する。
具体的には、各トレーニングステップにおいて、CR-SFPはR-NNとP-NNを同一トレーニングデータの異なる歪みバージョンで同時に最適化するとともに、双方向KL分割損失による後部分布の最小化を強制する。
一方、R-NNとP-NNはバックボーンパラメータを共有するため、追加の分類器パラメータのみが導入された。
トレーニング後、推測のためにP-NNをエクスポートできます。
CR-SFPは、追加の推論コストを導入することなくP-NNの精度を向上させるための、シンプルで効果的なトレーニングフレームワークである。
また、様々なプルーニング基準や損失関数と組み合わせることができる。
CR-SFPは様々なCNNアーキテクチャで一貫した改善を実現しています。
ImageNetでは、私たちのCR-SFPは、ResNet18上の41.8\%のFLOPを69.2\%のトップ-1精度で削減し、同じトレーニング設定下でSFPを2.1\%改善しています。
コードはGitHubで公開されている。
関連論文リスト
- RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。
RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
論文 参考訳（メタデータ） (2024-11-10T13:35:10Z) - Trainability Preserving Neural Structured Pruning [64.65659982877891]
本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。
TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。
多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2022-07-25T21:15:47Z) - Receptive Field-based Segmentation for Distributed CNN Inference
Acceleration in Collaborative Edge Computing [93.67044879636093]
協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。
我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
論文 参考訳（メタデータ） (2022-07-22T18:38:11Z) - Interspace Pruning: Using Adaptive Filter Representations to Improve
Training of Sparse CNNs [69.3939291118954]
非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している
標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。
既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
論文 参考訳（メタデータ） (2022-03-15T11:50:45Z) - Sequence Transduction with Graph-based Supervision [96.04967815520193]
ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。
CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2021-11-01T21:51:42Z) - Manipulating Identical Filter Redundancy for Efficient Pruning on Deep
and Complicated CNN [126.88224745942456]
そこで我々は,Centripetal SGD (C-SGD) を提案する。
C-SGDは、既存のメソッドと比較して冗長性がより組織化されているため、パフォーマンスが向上する。
論文 参考訳（メタデータ） (2021-07-30T06:18:19Z) - Feature Flow Regularization: Improving Structured Sparsity in Deep
Neural Networks [12.541769091896624]
プルーニングはディープニューラルネットワーク(DNN)の冗長パラメータを除去するモデル圧縮法である
特徴フロー正則化(FFR)と呼ばれる特徴の進化という新たな視点から, 単純かつ効果的な正則化戦略を提案する。
VGGNets、CIFAR-10/100上のResNets、Tiny ImageNetデータセットによる実験では、FFRが非構造化と構造化の両方の空間性を大幅に改善できることが示されている。
論文 参考訳（メタデータ） (2021-06-05T15:00:50Z) - Softer Pruning, Incremental Regularization [12.190136491373359]
ソフト・フィルタ・プルーニング (SFP) 法は、次の訓練の時期において、トレーニング中のプルーニングフィルタをゼロにし、それらを更新する。
訓練されたプルーニングフィルタを利用するために、SofteR Filter Pruning (S RFP)法とその変種であるAsymptotic SofteR Filter Pruning (AS RFP)法を提案した。
提案手法は, 各種ネットワーク, データセット, プルーニングレートで良好に動作し, 重み付きプルーニングにも適用可能である。
論文 参考訳（メタデータ） (2020-10-19T13:37:19Z) - Distillation Guided Residual Learning for Binary Convolutional Neural
Networks [83.6169936912264]
Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。
我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。
性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。
このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
論文 参考訳（メタデータ） (2020-07-10T07:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。