論文の概要: DMCP: Differentiable Markov Channel Pruning for Neural Networks
- arxiv url: http://arxiv.org/abs/2005.03354v2
- Date: Fri, 8 May 2020 03:41:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 22:48:28.775843
- Title: DMCP: Differentiable Markov Channel Pruning for Neural Networks
- Title（参考訳）: DMCP:ニューラルネットワークのための微分可能なマルコフチャネルプルーニング
- Authors: Shaopeng Guo and Yujie Wang and Quanquan Li and Junjie Yan
- Abstract要約: DMCP (diffariable Markov Channel Pruning) と命名された新しいチャネルプルーニング法を提案する。
本手法は微分可能であり,標準タスク損失や予算正規化に関して,勾配勾配により直接最適化することができる。
提案手法の有効性を検証するため,ResNet と MobilenetV2 を用いたImagenet 実験を行った。
- 参考スコア（独自算出の注目度）: 67.51334229530273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works imply that the channel pruning can be regarded as searching
optimal sub-structure from unpruned networks. However, existing works based on
this observation require training and evaluating a large number of structures,
which limits their application. In this paper, we propose a novel
differentiable method for channel pruning, named Differentiable Markov Channel
Pruning (DMCP), to efficiently search the optimal sub-structure. Our method is
differentiable and can be directly optimized by gradient descent with respect
to standard task loss and budget regularization (e.g. FLOPs constraint). In
DMCP, we model the channel pruning as a Markov process, in which each state
represents for retaining the corresponding channel during pruning, and
transitions between states denote the pruning process. In the end, our method
is able to implicitly select the proper number of channels in each layer by the
Markov process with optimized transitions. To validate the effectiveness of our
method, we perform extensive experiments on Imagenet with ResNet and
MobilenetV2. Results show our method can achieve consistent improvement than
state-of-the-art pruning methods in various FLOPs settings. The code is
available at https://github.com/zx55/dmcp
- Abstract（参考訳）: 最近の研究は、チャネルプルーニングが未切断ネットワークから最適なサブ構造を探索できることを示している。
しかし、この観察に基づく既存の研究は、その適用を制限する多くの構造を訓練し、評価する必要がある。
本稿では, 最適な部分構造を効率的に探索する, 識別可能なマルコフチャネルプルーニング (DMCP) という, チャネルプルーニングのための新しい微分可能な手法を提案する。
我々の手法は微分可能であり、標準タスク損失や予算正規化(FLOPs制約など)に関して勾配勾配により直接最適化することができる。
DMCPでは,チャネルプルーニングをマルコフプロセスとしてモデル化し,各状態がプルーニング中に対応するチャネルを保持することを表現し,状態間の遷移がプルーニングプロセスを表す。
最後に、最適化された遷移を伴うマルコフプロセスによって、各層内の適切なチャネル数を暗黙的に選択することができる。
提案手法の有効性を検証するため,ResNet と MobilenetV2 を用いたImagenet 実験を行った。
その結果,本手法は様々なFLOP設定における最先端プルーニング手法よりも一貫した改善を達成できることがわかった。
コードはhttps://github.com/zx55/dmcpで入手できる。
関連論文リスト
- Network Pruning via Feature Shift Minimization [8.593369249204132]
本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。
提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
論文 参考訳（メタデータ） (2022-07-06T12:50:26Z) - Revisiting Random Channel Pruning for Neural Network Compression [159.99002793644163]
チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。
本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。
この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
論文 参考訳（メタデータ） (2022-05-11T17:59:04Z) - AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。
AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。
ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
論文 参考訳（メタデータ） (2021-09-14T01:52:05Z) - Channel-wise Knowledge Distillation for Dense Prediction [73.99057249472735]
本稿では,学生ネットワークと教師ネットワークのチャンネルワイズ機能について提案する。
様々なネットワーク構造を持つ3つのベンチマークにおいて、一貫して優れた性能を実現している。
論文 参考訳（メタデータ） (2020-11-26T12:00:38Z) - Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。
我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
論文 参考訳（メタデータ） (2020-07-08T07:44:00Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Channel Pruning via Automatic Structure Search [109.83642249625098]
そこで我々は,ABCPrunerと呼ばれる人工蜂コロニーアルゴリズム(ABC)に基づく新たなチャネルプルーニング手法を提案する。
ABCPrunerはより効果的であることが証明されており、細調整をエンドツーエンドで効率的に行うことができる。
論文 参考訳（メタデータ） (2020-01-23T14:51:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。