論文の概要: Carrying out CNN Channel Pruning in a White Box

• arxiv url: http://arxiv.org/abs/2104.11883v1
• Date: Sat, 24 Apr 2021 04:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 04:09:57.462768
• Title: Carrying out CNN Channel Pruning in a White Box
• Title（参考訳）: 白い箱でcnnチャンネルの刈り込みを実行する
• Authors: Yuxin Zhang, Mingbao Lin, Chia-Wen Lin, Jie Chen, Feiyue Huang, Yongjian Wu, Yonghong Tian, Rongrong Ji
• Abstract要約: 私たちは白い箱でチャンネルプルーニングを行います。 異なるカテゴリーに対する各チャネルの寄与をモデル化するために,各チャネルに対するクラスワイズマスクを開発する。 CNNの解釈可能性理論がチャネルプルーニングを導くのはこれが初めてである。
• 参考スコア（独自算出の注目度）: 121.97098626458886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Channel Pruning has been long adopted for compressing CNNs, which significantly reduces the overall computation. Prior works implement channel pruning in an unexplainable manner, which tends to reduce the final classification errors while failing to consider the internal influence of each channel. In this paper, we conduct channel pruning in a white box. Through deep visualization of feature maps activated by different channels, we observe that different channels have a varying contribution to different categories in image classification. Inspired by this, we choose to preserve channels contributing to most categories. Specifically, to model the contribution of each channel to differentiating categories, we develop a class-wise mask for each channel, implemented in a dynamic training manner w.r.t. the input image's category. On the basis of the learned class-wise mask, we perform a global voting mechanism to remove channels with less category discrimination. Lastly, a fine-tuning process is conducted to recover the performance of the pruned model. To our best knowledge, it is the first time that CNN interpretability theory is considered to guide channel pruning. Extensive experiments demonstrate the superiority of our White-Box over many state-of-the-arts. For instance, on CIFAR-10, it reduces 65.23% FLOPs with even 0.62% accuracy improvement for ResNet-110. On ILSVRC-2012, White-Box achieves a 45.6% FLOPs reduction with only a small loss of 0.83% in the top-1 accuracy for ResNet-50. Code, training logs and pruned models are anonymously at https://github.com/zyxxmu/White-Box.
• Abstract（参考訳）: Channel Pruningは、CNNの圧縮に長い間採用されており、全体的な計算を大幅に削減している。 先行研究では、説明不能な方法でチャネルプルーニングを実装しており、各チャネルの内部的な影響を考慮せず、最終分類エラーを減少させる傾向がある。 本稿では,ホワイトボックスでチャネルの刈り込みを行う。 異なるチャネルによって活性化される特徴写像の深い可視化を通して、異なるチャネルが画像分類における異なるカテゴリに様々な寄与があることを観察する。 これにより、ほとんどのカテゴリに寄与するチャネルを保存できるようになりました。 具体的には,異なるカテゴリーに対する各チャネルの貢献をモデル化するために,動的学習方法w.r.tで実装された各チャネルのクラスワイズマスクを開発する。 入力画像のカテゴリ。 学習したクラスワイズマスクに基づき, カテゴリー識別の少ないチャンネルを削除するためのグローバル投票機構を実施。 最後に,プルーニングモデルの性能を回復するための微調整処理を行う。 我々の知る限り、CNNの解釈可能性理論がチャネルプルーニングを導くのはこれが初めてである。 広範な実験によって、我々のホワイトボックスが最先端技術よりも優れていることが示されました。 例えば、CIFAR-10では65.23%のFLOPを削減し、ResNet-110の精度は0.62%向上した。 ILSVRC-2012では、White-Boxは45.6%のFLOPを削減し、ResNet-50のトップ1の精度は0.83%しか失われなかった。 コード、トレーニングログ、prunedモデルは匿名でhttps://github.com/zyxxmu/white-boxにある。

関連論文リスト

• Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
  トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。 VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。 提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
  論文  参考訳（メタデータ） (2022-11-14T06:48:33Z)
• CHEX: CHannel EXploration for CNN Model Compression [47.3520447163165]
  本稿では,これらの問題を是正するために,CHEXと呼ばれる新しいチャネル探索手法を提案する。 CheXはトレーニングプロセスを通じてチャネルを繰り返しプーンして再成長させ、重要なチャネルを早期にプルーニングするリスクを低減させる。 CHEXは様々なコンピュータビジョンタスクにおいて,多様なCNNアーキテクチャのFLOPを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-03-29T17:52:41Z)
• Federated Unlearning via Class-Discriminative Pruning [16.657364988432317]
  本稿では,特定のカテゴリに関する情報を除去する手法を提案する。 この方法は、スクラッチからの再トレーニングや、トレーニングに使用されるデータへのグローバルアクセスを必要としない。 チャネルプルーニングに続いて微調整処理を行い、プルーニングモデルの性能を回復する。
  論文  参考訳（メタデータ） (2021-10-22T14:01:42Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch Whitening [63.081808698068365]
  本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。 以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。 本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
  論文  参考訳（メタデータ） (2021-05-13T17:00:05Z)
• Channel-wise Knowledge Distillation for Dense Prediction [73.99057249472735]
  本稿では,学生ネットワークと教師ネットワークのチャンネルワイズ機能について提案する。 様々なネットワーク構造を持つ3つのベンチマークにおいて、一貫して優れた性能を実現している。
  論文  参考訳（メタデータ） (2020-11-26T12:00:38Z)
• Channel Equilibrium Networks for Learning Deep Representation [63.76618960820138]
  この研究は正規化と正則線型関数の組み合わせがチャネルを阻害することを示している。 阻害されたチャネルを単に取り除いた先行技術とは異なり、我々は、新しいニューラルネットワークビルディングブロックを設計することで、トレーニング中に「目を覚ます」ことを提案する。 Channel Equilibrium (CE) ブロックは、同じレイヤのチャネルが学習した表現に等しく寄与することを可能にする。
  論文  参考訳（メタデータ） (2020-02-29T09:02:31Z)
• Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
  既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。 本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。 画像分類と顔認識の両方の実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-01-04T07:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。