論文の概要: Channel Pruning via Automatic Structure Search

• arxiv url: http://arxiv.org/abs/2001.08565v3
• Date: Mon, 29 Jun 2020 01:52:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 13:04:27.808962
• Title: Channel Pruning via Automatic Structure Search
• Title（参考訳）: 自動構造探索によるチャネルプルーニング
• Authors: Mingbao Lin, Rongrong Ji, Yuxin Zhang, Baochang Zhang, Yongjian Wu, Yonghong Tian
• Abstract要約: そこで我々は,ABCPrunerと呼ばれる人工蜂コロニーアルゴリズム(ABC)に基づく新たなチャネルプルーニング手法を提案する。 ABCPrunerはより効果的であることが証明されており、細調整をエンドツーエンドで効率的に行うことができる。
• 参考スコア（独自算出の注目度）: 109.83642249625098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Channel pruning is among the predominant approaches to compress deep neural networks. To this end, most existing pruning methods focus on selecting channels (filters) by importance/optimization or regularization based on rule-of-thumb designs, which defects in sub-optimal pruning. In this paper, we propose a new channel pruning method based on artificial bee colony algorithm (ABC), dubbed as ABCPruner, which aims to efficiently find optimal pruned structure, i.e., channel number in each layer, rather than selecting "important" channels as previous works did. To solve the intractably huge combinations of pruned structure for deep networks, we first propose to shrink the combinations where the preserved channels are limited to a specific space, thus the combinations of pruned structure can be significantly reduced. And then, we formulate the search of optimal pruned structure as an optimization problem and integrate the ABC algorithm to solve it in an automatic manner to lessen human interference. ABCPruner has been demonstrated to be more effective, which also enables the fine-tuning to be conducted efficiently in an end-to-end manner. The source codes can be available at https://github.com/lmbxmu/ABCPruner.
• Abstract（参考訳）: チャネルプルーニングはディープニューラルネットワークを圧縮する主要なアプローチの一つである。 この目的のために、既存のプルーニング手法のほとんどは、サブ最適プルーニングの欠陥であるthumbルールに基づいた重要/最適化または正規化によるチャネル(フィルタ)の選択に焦点を当てている。 本稿では, ABCPruner と呼ばれる人工蜂コロニーアルゴリズム(ABC)に基づく新たなチャネル刈取手法を提案する。これは, 従来の作業のように「重要な」チャネルを選択するのではなく, それぞれの層に最適なプルーニング構造, すなわちチャネル番号を効率的に見つけることを目的としている。 深層ネットワークにおけるプルーンド構造の難易度の高い組み合わせを解決するため,まず,保存チャネルが特定の空間に制限されるような組み合わせを小さくすることを提案し,プルーンド構造の組み合わせを著しく低減することができる。 そして最適化問題として最適プルーン構造の探索を定式化し、abcアルゴリズムを統合して自動的に解くことで人間の干渉を減少させる。 ABCPrunerはより効果的であることが証明されており、細調整をエンドツーエンドで効率的に行うことができる。 ソースコードはhttps://github.com/lmbxmu/abcprunerで入手できる。

関連論文リスト

• Dynamic Structure Pruning for Compressing CNNs [13.73717878732162]
  本研究では, チャネル内プルーニングに最適なプルーニング粒度を特定するため, 動的プルーニングと呼ばれる新しい構造プルーニング法を提案する。 実験結果から, チャネルプルーニングと比較して, 動的構造プルーニングがGPU上での最先端のプルーニング性能, より現実的なアクセラレーションを実現することが示された。
  論文  参考訳（メタデータ） (2023-03-17T02:38:53Z)
• Revisiting Random Channel Pruning for Neural Network Compression [159.99002793644163]
  チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:59:04Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch Whitening [63.081808698068365]
  本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。 以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。 本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
  論文  参考訳（メタデータ） (2021-05-13T17:00:05Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)
• DMCP: Differentiable Markov Channel Pruning for Neural Networks [67.51334229530273]
  DMCP (diffariable Markov Channel Pruning) と命名された新しいチャネルプルーニング法を提案する。 本手法は微分可能であり,標準タスク損失や予算正規化に関して,勾配勾配により直接最適化することができる。 提案手法の有効性を検証するため,ResNet と MobilenetV2 を用いたImagenet 実験を行った。
  論文  参考訳（メタデータ） (2020-05-07T09:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。