論文の概要: Model Pruning Based on Quantified Similarity of Feature Maps

• arxiv url: http://arxiv.org/abs/2105.06052v1
• Date: Thu, 13 May 2021 02:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 23:41:13.409129
• Title: Model Pruning Based on Quantified Similarity of Feature Maps
• Title（参考訳）: 特徴写像の定量化類似性に基づくモデルプルーニング
• Authors: Zidu Wang, Xuexin Liu, Long Huang, Yunqing Chen, Yufei Zhang, Zhikang Lin, Rui Wang
• Abstract要約: 3次元テンソルに冗長な情報を見つけるための新しい理論を提案する。 この理論を畳み込みニューラルネットワークを駆使して推論速度を向上させる。
• 参考スコア（独自算出の注目度）: 5.271060872578571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A high-accuracy CNN is often accompanied by huge parameters, which are usually stored in the high-dimensional tensors. However, there are few methods can figure out the redundant information of the parameters stored in the high-dimensional tensors, which leads to the lack of theoretical guidance for the compression of CNNs. In this paper, we propose a novel theory to find redundant information in three dimensional tensors, namely Quantified Similarity of Feature Maps (QSFM), and use this theory to prune convolutional neural networks to enhance the inference speed. Our method belongs to filter pruning, which can be implemented without using any special libraries. We perform our method not only on common convolution layers but also on special convolution layers, such as depthwise separable convolution layers. The experiments prove that QSFM can find the redundant information in the neural network effectively. Without any fine-tuning operation, QSFM can compress ResNet-56 on CIFAR-10 significantly (48.27% FLOPs and 57.90% parameters reduction) with only a loss of 0.54% in the top-1 accuracy. QSFM also prunes ResNet-56, VGG-16 and MobileNetV2 with fine-tuning operation, which also shows excellent results.
• Abstract（参考訳）: 高精度cnnには、通常高次元テンソルに格納される巨大なパラメータが伴うことが多い。 しかし、高次元テンソルに格納されたパラメータの冗長な情報を求める方法はほとんど存在せず、cnnの圧縮に関する理論的ガイダンスが欠如している。 本稿では,3次元テンソル,すなわち特徴写像の量子化類似性(qsfm)において冗長な情報を見つけるための新しい理論を提案し,この理論を用いて畳み込みニューラルネットワークを用いて推論速度を向上させる。 本手法は,特別なライブラリを使わずに実装可能なフィルタプルーニングに属する。 本手法は,共通の畳み込み層だけでなく,奥行き分離可能な畳み込み層などの特殊な畳み込み層にも適用する。 実験により、QSFMはニューラルネットワーク内の冗長な情報を効果的に見つけることができることが示された。 微調整がなければ、QSFM は CIFAR-10 上で ResNet-56 を圧縮できる(48.27%のFLOPと57.90%のパラメータ削減)。 QSFMはまた、ResNet-56、VGG-16、MobileNetV2を微調整操作で作成する。

関連論文リスト

• An Effective Information Theoretic Framework for Channel Pruning [4.014774237233169]
  本稿では,ニューラルネットの情報理論と解釈可能性を利用した新しいチャネルプルーニング手法を提案する。 CIFAR-10上で45.5%のFLOPを削減し、ResNet-56のパラメータを40.3%削除することで精度を0.21%向上させる。
  論文  参考訳（メタデータ） (2024-08-14T17:19:56Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。 本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。 スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
  論文  参考訳（メタデータ） (2024-04-06T21:33:39Z)
• Filter Pruning For CNN With Enhanced Linear Representation Redundancy [3.853146967741941]
  本稿では,CCM-loss という同一層内の異なる特徴写像の相関行列から計算したデータ駆動損失関数の項を示す。 CCM-lossは、L*-ノルム正規化以外に、別の普遍的超越数学的ツールを提供する。 新しい戦略では、主にネットワーク内の情報フローの整合性と整合性に注目します。
  論文  参考訳（メタデータ） (2023-10-10T06:27:30Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• Toward Compact Parameter Representations for Architecture-Agnostic Neural Network Compression [26.501979992447605]
  本稿では,訓練されたパラメータをコンパクトに表現・保存する観点から,圧縮について検討する。 我々は、画像記述子のために発明された極端損失圧縮法である加法量子化を利用して、パラメータをコンパクトに表現する。 我々は,MobileNet-v2,VGG-11,ResNet-50,Feature Pyramid Networks,および分類,検出,セグメンテーションタスクを訓練したPruned DNNの実験を行った。
  論文  参考訳（メタデータ） (2021-11-19T17:03:11Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
  レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。 残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。 本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-11-29T12:51:16Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。