論文の概要: BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch Whitening

• arxiv url: http://arxiv.org/abs/2105.06423v1
• Date: Thu, 13 May 2021 17:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 14:08:08.901544
• Title: BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch Whitening
• Title（参考訳）: bwcp:バッチホワイトニングによるconvnetsの確率的学習-pruneチャネル
• Authors: Wenqi Shao, Hang Yu, Zhaoyang Zhang, Hang Xu, Zhenguo Li, Ping Luo
• Abstract要約: 本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。 以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。 本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
• 参考スコア（独自算出の注目度）: 63.081808698068365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work presents a probabilistic channel pruning method to accelerate Convolutional Neural Networks (CNNs). Previous pruning methods often zero out unimportant channels in training in a deterministic manner, which reduces CNN's learning capacity and results in suboptimal performance. To address this problem, we develop a probability-based pruning algorithm, called batch whitening channel pruning (BWCP), which can stochastically discard unimportant channels by modeling the probability of a channel being activated. BWCP has several merits. (1) It simultaneously trains and prunes CNNs from scratch in a probabilistic way, exploring larger network space than deterministic methods. (2) BWCP is empowered by the proposed batch whitening tool, which is able to empirically and theoretically increase the activation probability of useful channels while keeping unimportant channels unchanged without adding any extra parameters and computational cost in inference. (3) Extensive experiments on CIFAR-10, CIFAR-100, and ImageNet with various network architectures show that BWCP outperforms its counterparts by achieving better accuracy given limited computational budgets. For example, ResNet50 pruned by BWCP has only 0.70\% Top-1 accuracy drop on ImageNet, while reducing 43.1\% FLOPs of the plain ResNet50.
• Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。 従来のプルーニング法は、決定論的な方法でのトレーニングにおいて重要でないチャネルをゼロにすることが多いため、cnnの学習能力が減少し、結果として最適以下のパフォーマンスが得られる。 この問題に対処するため,我々は,チャネルの活性化確率をモデル化することにより,重要でないチャネルを確率的に破棄できるバッチ・ホワイトニング・チャネル・プルーニング(bwcp)と呼ばれる確率ベースのプルーニングアルゴリズムを開発した。 BWCPにはいくつかの利点がある。 1)cnnをスクラッチから、確率論的に同時に訓練し、決定論的方法よりも大きなネットワーク空間を探索する。 2) BWCPは,提案したバッチ白化ツールによって強化され,非重要チャネルの活性化確率を,余分なパラメータや計算コストを加えることなく,経験的かつ理論的に向上させることができる。 3) CIFAR-10, CIFAR-100, ImageNet の様々なネットワークアーキテクチャによる大規模な実験により, BWCP は計算予算が限られているため, 精度が向上し, 性能が向上した。 例えば、BWCPによって刈り取られたResNet50は、ImageNet上で0.70\%のTop-1精度低下しかなく、通常のResNet50の43.1\%FLOPを削減している。

関連論文リスト

• Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
  トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。 VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。 提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
  論文  参考訳（メタデータ） (2022-11-14T06:48:33Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Carrying out CNN Channel Pruning in a White Box [121.97098626458886]
  私たちは白い箱でチャンネルプルーニングを行います。 異なるカテゴリーに対する各チャネルの寄与をモデル化するために,各チャネルに対するクラスワイズマスクを開発する。 CNNの解釈可能性理論がチャネルプルーニングを導くのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-04-24T04:59:03Z)
• ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN [6.662639002101124]
  近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。 既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。 新規な自動チャネル切断法(ACP)を提案する。 ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
  論文  参考訳（メタデータ） (2021-01-16T08:56:38Z)
• PruneNet: Channel Pruning via Global Importance [22.463154358632472]
  本稿では,計算的に軽量で効率的なデータ駆動最適化ステップに基づいて,チャネルを刈り取る方法を提案する。 In non-uniform pruning on the layer on ResNet-$50$, we can be match the FLOP reduction of State-of-the-art channel pruning results。
  論文  参考訳（メタデータ） (2020-05-22T17:09:56Z)
• Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks [6.534515590778012]
  プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。 そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。 本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-02-23T17:56:18Z)
• Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
  既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。 本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。 画像分類と顔認識の両方の実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-01-04T07:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。