論文の概要: Channel Pruning via Multi-Criteria based on Weight Dependency
- arxiv url: http://arxiv.org/abs/2011.03240v4
- Date: Tue, 20 Apr 2021 07:41:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 04:41:12.919348
- Title: Channel Pruning via Multi-Criteria based on Weight Dependency
- Title（参考訳）: 重み依存に基づくマルチクリトリアによるチャネルプルーニング
- Authors: Yangchun Yan, Rongzuo Guo, Chao Li, Kang Yang, Yongjun Xu
- Abstract要約: 出力特徴写像の重要性は、その関連するフィルタによってのみ決定される。
CPMCはチャネルの重要性を、その関連する重み値、計算コスト、パラメータ量を含む3つの側面で定義している。
VGGNet、ResNet、DenseNetなどのさまざまなCNNモデルを、さまざまな画像分類データセットで圧縮することができる。
- 参考スコア（独自算出の注目度）: 11.436912228805316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Channel pruning has demonstrated its effectiveness in compressing ConvNets.
In many related arts, the importance of an output feature map is only
determined by its associated filter. However, these methods ignore a small part
of weights in the next layer which disappears as the feature map is removed.
They ignore the phenomenon of weight dependency. Besides, many pruning methods
use only one criterion for evaluation and find a sweet spot of pruning
structure and accuracy in a trial-and-error fashion, which can be
time-consuming. In this paper, we proposed a channel pruning algorithm via
multi-criteria based on weight dependency, CPMC, which can compress a
pre-trained model directly. CPMC defines channel importance in three aspects,
including its associated weight value, computational cost, and parameter
quantity. According to the phenomenon of weight dependency, CPMC gets channel
importance by assessing its associated filter and the corresponding partial
weights in the next layer. Then CPMC uses global normalization to achieve
cross-layer comparison. Finally, CPMC removes less important channels by global
ranking. CPMC can compress various CNN models, including VGGNet, ResNet, and
DenseNet on various image classification datasets. Extensive experiments have
shown CPMC outperforms the others significantly.
- Abstract（参考訳）: チャネルプルーニングは、ConvNetを圧縮する効果を示した。
多くの関連する芸術において、出力特徴写像の重要性は関連するフィルターによってのみ決定される。
しかし、これらの手法は、特徴写像が削除されるにつれて消える次の層の重みの一部を無視する。
彼らは体重依存の現象を無視する。
また,多くのプルーニング手法では,評価に1つの基準しか使用せず,試行錯誤的な方法でプルーニング構造と精度のスイートスポットを見つけることができる。
本稿では,事前学習モデルを直接圧縮できる重み依存型cpmc(multi-criteria)を用いたチャネルプルーニングアルゴリズムを提案する。
CPMCはチャネルの重要性を、関連する重み値、計算コスト、パラメータ量を含む3つの側面で定義している。
重み依存現象により、cpmcは、その関連フィルタとそれに対応する部分重みを次の層で評価することで、チャネルの重要性を得る。
CPMCはグローバル正規化を用いて層間比較を行う。
最後に、CPMCはグローバルランキングによって重要でないチャンネルを除去する。
CPMCは、様々な画像分類データセット上で、VGGNet、ResNet、DenseNetを含む様々なCNNモデルを圧縮することができる。
大規模な実験ではCPMCは他よりも著しく優れていた。
関連論文リスト
- Data-independent Module-aware Pruning for Hierarchical Vision Transformers [41.92794134275854]
階層型視覚変換器(ViT)は従来のViTよりも2つの利点がある。
まず、階層型ViTは局所的な自己注意による画像サイズに関する線形計算複雑性を実現する。
第二に、階層的なViTは階層的な特徴マップを作成し、画像パッチをより深い層にマージして、密度の高い予測を行う。
論文 参考訳（メタデータ） (2024-04-21T12:50:38Z) - Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳（メタデータ） (2024-03-01T15:14:47Z) - Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。
これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
論文 参考訳（メタデータ） (2023-12-03T04:20:02Z) - Channel prior convolutional attention for medical image segmentation [9.83680239200962]
本稿では,効率的なチャネル優先畳み込み注意法(CPCA)を提案する。
情報チャネルや重要な領域にフォーカスする能力はCPCAが保有している。
医用画像分割のためのCPCANetと呼ばれるセグメンテーションネットワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T13:52:41Z) - Network Pruning via Feature Shift Minimization [8.593369249204132]
本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。
提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
論文 参考訳（メタデータ） (2022-07-06T12:50:26Z) - Fully Attentional Network for Semantic Segmentation [17.24768249911501]
単一類似マップにおいて,空間的注意とチャネル的注意の両方を符号化するフルアテンショナル・ネットワーク(FLANet)を提案する。
我々の新しい手法は3つの挑戦的セマンティックセグメンテーションデータセットに対して最先端の性能を達成した。
論文 参考訳（メタデータ） (2021-12-08T04:34:55Z) - AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。
AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。
ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
論文 参考訳（メタデータ） (2021-09-14T01:52:05Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Channel-wise Knowledge Distillation for Dense Prediction [73.99057249472735]
本稿では,学生ネットワークと教師ネットワークのチャンネルワイズ機能について提案する。
様々なネットワーク構造を持つ3つのベンチマークにおいて、一貫して優れた性能を実現している。
論文 参考訳（メタデータ） (2020-11-26T12:00:38Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。