論文の概要: Group channel pruning and spatial attention distilling for object
detection
- arxiv url: http://arxiv.org/abs/2306.01526v1
- Date: Fri, 2 Jun 2023 13:26:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 14:50:11.628350
- Title: Group channel pruning and spatial attention distilling for object
detection
- Title（参考訳）: 物体検出のためのグループチャネルプルーニングと空間的注意蒸留
- Authors: Yun Chu, Pu Li, Yong Bai, Zhuhua Hu, Yongqing Chen and Jiafeng Lu
- Abstract要約: 動的スパーストレーニング,グループチャネルプルーニング,空間アテンション蒸留という3段階モデル圧縮手法を提案する。
本手法は,モデルのパラメータを64.7%削減し,計算量を34.9%削減する。
- 参考スコア（独自算出の注目度）: 2.8675002818821542
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the over-parameterization of neural networks, many model compression
methods based on pruning and quantization have emerged. They are remarkable in
reducing the size, parameter number, and computational complexity of the model.
However, most of the models compressed by such methods need the support of
special hardware and software, which increases the deployment cost. Moreover,
these methods are mainly used in classification tasks, and rarely directly used
in detection tasks. To address these issues, for the object detection network
we introduce a three-stage model compression method: dynamic sparse training,
group channel pruning, and spatial attention distilling. Firstly, to select out
the unimportant channels in the network and maintain a good balance between
sparsity and accuracy, we put forward a dynamic sparse training method, which
introduces a variable sparse rate, and the sparse rate will change with the
training process of the network. Secondly, to reduce the effect of pruning on
network accuracy, we propose a novel pruning method called group channel
pruning. In particular, we divide the network into multiple groups according to
the scales of the feature layer and the similarity of module structure in the
network, and then we use different pruning thresholds to prune the channels in
each group. Finally, to recover the accuracy of the pruned network, we use an
improved knowledge distillation method for the pruned network. Especially, we
extract spatial attention information from the feature maps of specific scales
in each group as knowledge for distillation. In the experiments, we use YOLOv4
as the object detection network and PASCAL VOC as the training dataset. Our
method reduces the parameters of the model by 64.7 % and the calculation by
34.9%.
- Abstract（参考訳）: ニューラルネットワークの過度パラメータ化により、プルーニングと量子化に基づくモデル圧縮法が数多く出現している。
それらはモデルのサイズ、パラメータ数、計算の複雑さを減少させるのに顕著である。
しかし、そのような方法で圧縮されたモデルのほとんどは特別なハードウェアとソフトウェアをサポートする必要があり、デプロイメントコストが増大する。
また、これらの手法は主に分類タスクで使われ、検出タスクで直接使用されることは稀である。
これらの問題に対処するため,オブジェクト検出ネットワークでは,動的スパーストレーニング,グループチャネルプルーニング,空間注意蒸留という3段階モデル圧縮手法を導入する。
まず、ネットワーク内の重要でないチャネルを選択し、空間性と精度のバランスをよく保ちながら、可変スパース率を導入し、ネットワークのトレーニングプロセスでスパース率を変化させるダイナミックスパーストレーニング手法を提案する。
次に,ネットワーク精度への影響を低減するため,グループチャネルプルーニングと呼ばれる新しいプルーニング手法を提案する。
特に,特徴層のスケールとモジュール構造の類似性に応じて,ネットワークを複数のグループに分割し,異なるプルーニングしきい値を用いて各グループ内のチャネルをプルークする。
最後に,prunedネットワークの精度を回復するために,prunedネットワークの知識蒸留法を改良した。
特に,蒸留の知識として,各グループの特定スケールの特徴マップから空間的注意情報を抽出する。
実験では,オブジェクト検出ネットワークとしてYOLOv4,トレーニングデータセットとしてPASCALVOCを用いた。
本手法はモデルのパラメータを64.7%削減し,計算量を34.9%削減する。
関連論文リスト
- Network Pruning via Feature Shift Minimization [8.593369249204132]
本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。
提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
論文 参考訳（メタデータ） (2022-07-06T12:50:26Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image
Classification [49.87503122462432]
ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。
本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。
4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
論文 参考訳（メタデータ） (2020-06-27T13:50:20Z) - Ensembled sparse-input hierarchical networks for high-dimensional
datasets [8.629912408966145]
サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。
提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。
EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
論文 参考訳（メタデータ） (2020-05-11T02:08:53Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。
我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。
提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
論文 参考訳（メタデータ） (2020-01-15T20:38:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。