論文の概要: Discrimination-aware Network Pruning for Deep Model Compression

• arxiv url: http://arxiv.org/abs/2001.01050v2
• Date: Mon, 29 Mar 2021 15:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 12:48:59.549997
• Title: Discrimination-aware Network Pruning for Deep Model Compression
• Title（参考訳）: 深部モデル圧縮のための識別型ネットワークプルーニング
• Authors: Jing Liu, Bohan Zhuang, Zhuangwei Zhuang, Yong Guo, Junzhou Huang, Jinhui Zhu, Mingkui Tan
• Abstract要約: 既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。 本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。 画像分類と顔認識の両方の実験により,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 79.44318503847136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study network pruning which aims to remove redundant channels/kernels and hence speed up the inference of deep networks. Existing pruning methods either train from scratch with sparsity constraints or minimize the reconstruction error between the feature maps of the pre-trained models and the compressed ones. Both strategies suffer from some limitations: the former kind is computationally expensive and difficult to converge, while the latter kind optimizes the reconstruction error but ignores the discriminative power of channels. In this paper, we propose a simple-yet-effective method called discrimination-aware channel pruning (DCP) to choose the channels that actually contribute to the discriminative power. Note that a channel often consists of a set of kernels. Besides the redundancy in channels, some kernels in a channel may also be redundant and fail to contribute to the discriminative power of the network, resulting in kernel level redundancy. To solve this, we propose a discrimination-aware kernel pruning (DKP) method to further compress deep networks by removing redundant kernels. To prevent DCP/DKP from selecting redundant channels/kernels, we propose a new adaptive stopping condition, which helps to automatically determine the number of selected channels/kernels and often results in more compact models with better performance. Extensive experiments on both image classification and face recognition demonstrate the effectiveness of our methods. For example, on ILSVRC-12, the resultant ResNet-50 model with 30% reduction of channels even outperforms the baseline model by 0.36% in terms of Top-1 accuracy. The pruned MobileNetV1 and MobileNetV2 achieve 1.93x and 1.42x inference acceleration on a mobile device, respectively, with negligible performance degradation. The source code and the pre-trained models are available at https://github.com/SCUT-AILab/DCP.
• Abstract（参考訳）: 本研究では、冗長チャネル/カーネルを除去し、ディープネットワークの推論を高速化するネットワークプルーニングについて検討する。 既存のプルーニング法は、スプリットからスポータリティ制約付きでトレーニングするか、プリトレーニングされたモデルの特徴マップと圧縮されたモデルの間の再構成誤差を最小化する。 前者は計算的に高価で収束が難しいが、後者は再構成エラーを最適化するが、チャネルの識別力は無視する。 本稿では,識別能力に実際に寄与するチャネルを選択するための,識別認識チャネルプルーニング (DCP) という簡易な手法を提案する。 チャネルはカーネルの集合からなることが多いことに注意。 チャネルの冗長性に加えて、チャネル内の一部のカーネルは冗長であり、ネットワークの識別能力に寄与せず、カーネルレベルの冗長性が発生する。 そこで本研究では、冗長なカーネルを除去してディープネットワークをさらに圧縮するための識別対応カーネルプルーニング(DKP)手法を提案する。 dcp/dkpが冗長なチャネル/カーネルを選択することを防止するために、選択されたチャネル/カーネルの数を自動的に決定するのに役立つ新しい適応停止条件を提案する。 画像分類と顔認識の両方に関する広範な実験により,提案手法の有効性が示された。 例えば、ILSVRC-12では、チャネルを30%削減した結果のResNet-50モデルは、Top-1の精度でベースラインモデルを0.36%上回っている。 プルーニングされたMobileNetV1とMobileNetV2は、それぞれモバイルデバイス上で1.93xと1.42xの推論アクセラレーションを達成する。 ソースコードと事前訓練されたモデルはhttps://github.com/SCUT-AILab/DCPで入手できる。

関連論文リスト

• Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
  トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。 VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。 提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
  論文  参考訳（メタデータ） (2022-11-14T06:48:33Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN [126.88224745942456]
  そこで我々は,Centripetal SGD (C-SGD) を提案する。 C-SGDは、既存のメソッドと比較して冗長性がより組織化されているため、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-07-30T06:18:19Z)
• BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch Whitening [63.081808698068365]
  本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。 以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。 本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
  論文  参考訳（メタデータ） (2021-05-13T17:00:05Z)
• UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
  深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。 それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
  論文  参考訳（メタデータ） (2020-10-03T01:51:06Z)
• Channel Equilibrium Networks for Learning Deep Representation [63.76618960820138]
  この研究は正規化と正則線型関数の組み合わせがチャネルを阻害することを示している。 阻害されたチャネルを単に取り除いた先行技術とは異なり、我々は、新しいニューラルネットワークビルディングブロックを設計することで、トレーニング中に「目を覚ます」ことを提案する。 Channel Equilibrium (CE) ブロックは、同じレイヤのチャネルが学習した表現に等しく寄与することを可能にする。
  論文  参考訳（メタデータ） (2020-02-29T09:02:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。