論文の概要: CHIP: CHannel Independence-based Pruning for Compact Neural Networks
- arxiv url: http://arxiv.org/abs/2110.13981v1
- Date: Tue, 26 Oct 2021 19:35:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-10-31 10:19:06.955871
- Title: CHIP: CHannel Independence-based Pruning for Compact Neural Networks
- Title（参考訳）: CHIP: コンパクトニューラルネットワークのためのチャンネル独立型プルーニング
- Authors: Yang Sui, Miao Yin, Yi Xie, Huy Phan, Saman Zonouz, Bo Yuan
- Abstract要約: フィルタプルーニングは、実用的な加速を可能にするため、ニューラルネットワーク圧縮に広く利用されている。
本稿では,異なる特徴マップ間の相関を計測する指標であるChannel Independenceを用いて,効率的なフィルタプルーニングを実現することを提案する。
- 参考スコア（独自算出の注目度）: 13.868303041084431
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Filter pruning has been widely used for neural network compression because of
its enabled practical acceleration. To date, most of the existing filter
pruning works explore the importance of filters via using intra-channel
information. In this paper, starting from an inter-channel perspective, we
propose to perform efficient filter pruning using Channel Independence, a
metric that measures the correlations among different feature maps. The less
independent feature map is interpreted as containing less useful
information$/$knowledge, and hence its corresponding filter can be pruned
without affecting model capacity. We systematically investigate the
quantification metric, measuring scheme and sensitiveness$/$reliability of
channel independence in the context of filter pruning. Our evaluation results
for different models on various datasets show the superior performance of our
approach. Notably, on CIFAR-10 dataset our solution can bring $0.75\%$ and
$0.94\%$ accuracy increase over baseline ResNet-56 and ResNet-110 models,
respectively, and meanwhile the model size and FLOPs are reduced by $42.8\%$
and $47.4\%$ (for ResNet-56) and $48.3\%$ and $52.1\%$ (for ResNet-110),
respectively. On ImageNet dataset, our approach can achieve $40.8\%$ and
$44.8\%$ storage and computation reductions, respectively, with $0.15\%$
accuracy increase over the baseline ResNet-50 model. The code is available at
https://github.com/Eclipsess/CHIP_NeurIPS2021.
- Abstract（参考訳）: フィルタプルーニングは実用的加速を可能にするため、ニューラルネットワークの圧縮に広く使われている。
現在までに、既存のフィルタプルーニング作業の多くは、チャネル内情報を用いてフィルタの重要性を探求している。
本稿では,チャネル間の観点から,異なる特徴写像間の相関を計測する指標であるチャネル独立性を用いた効率的なフィルタプルーニングを提案する。
独立性の低い特徴マップは、より有用な情報$/$knowledgeを含むと解釈されるため、対応するフィルタはモデル容量に影響を与えずに刈り取ることができる。
フィルタプルーニングの文脈におけるチャネル独立性の定量化指標,測定方法,感度$/$信頼性について系統的に検討する。
各種データセットの異なるモデルに対する評価結果は,提案手法の優れた性能を示す。
特に、CIFAR-10データセットでは、ベースラインのResNet-56およびResNet-110モデルよりも0.75\%$と0.94\%$の精度が向上し、モデルサイズとFLOPは、それぞれ42.8\%$と47.4\%$(ResNet-56用)と48.3\%$(ResNet-110用)と52.1\%$(ResNet-110用)に減少する。
ImageNetデータセットでは、ベースラインのResNet-50モデルよりも0.15\%の精度で、それぞれ40.8\%と444.8\%のストレージと計算の削減を実現しています。
コードはhttps://github.com/Eclipsess/CHIP_NeurIPS2021で公開されている。
関連論文リスト
- Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - Filter Pruning for Efficient CNNs via Knowledge-driven Differential
Filter Sampler [103.97487121678276]
フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。
本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
論文 参考訳（メタデータ） (2023-07-01T02:28:41Z) - Pruning by Active Attention Manipulation [49.61707925611295]
CNNのフィルタプルーニングは典型的には、CNNのフィルタ重みやアクティベーションマップに離散マスクを適用することで達成される。
ここでは、アクティブアテンション操作(PAAM)によるプルーニング(pruning)という新しいフィルタ強調表示概念を提案する。
PAAMはフィルタ重みからアナログフィルタスコアを学習し、そのスコアの加算項によって正規化されたコスト関数を最適化する。
論文 参考訳（メタデータ） (2022-10-20T09:17:02Z) - Neural Network Pruning by Cooperative Coevolution [16.0753044050118]
協調的共進化による新しいフィルタプルーニングアルゴリズムCCEPを提案する。
CCEPは分割・対数戦略により刈り取り空間を縮小する。
実験により,CCEPは最先端の刈り取り法と競合する性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-04-12T09:06:38Z) - Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。
我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-15T04:53:24Z) - Network Compression via Central Filter [9.585818883354449]
本稿では,フィルタの適切な調整後に,フィルタが他のフィルタの集合とほぼ等しいことを示唆する,新しいフィルタプルーニング手法であるCentral Filter (CF)を提案する。
CFは様々なベンチマークネットワークやデータセットで最先端のパフォーマンスを得る。
論文 参考訳（メタデータ） (2021-12-10T12:51:04Z) - Deep Model Compression based on the Training History [13.916984628784768]
本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。
提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
論文 参考訳（メタデータ） (2021-01-30T06:04:21Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳（メタデータ） (2021-01-20T06:18:38Z) - Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。
本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
論文 参考訳（メタデータ） (2020-10-28T15:26:40Z) - Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。
われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。
CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文 参考訳（メタデータ） (2020-01-23T13:57:08Z) - Pruning CNN's with linear filter ensembles [0.0]
ネットワークサイズを減らし、(暗黙的に)浮動小数点演算(FLOP)の数を減らすためにプルーニングを使用します。
本稿では,ネットワークアーキテクチャからコンポーネントの存在や削除によって生じる経験的損失の変化に基づく,新しいフィルタ重要基準を開発する。
我々は,CIFAR-10データセットに基づいてトレーニングしたResNetアーキテクチャと同様に,完全に接続されたネットワーク上で本手法を評価する。
論文 参考訳（メタデータ） (2020-01-22T16:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。