論文の概要: Network Pruning via Feature Shift Minimization

• arxiv url: http://arxiv.org/abs/2207.02632v1
• Date: Wed, 6 Jul 2022 12:50:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 13:52:31.073012
• Title: Network Pruning via Feature Shift Minimization
• Title（参考訳）: 特徴シフト最小化によるネットワークプルーニング
• Authors: Yuanzhi Duan, Xiaofang Hu, Yue Zhou, Peng He, Qiang Liu, Shukai Duan
• Abstract要約: 本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。 提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
• 参考スコア（独自算出の注目度）: 8.593369249204132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Channel pruning is widely used to reduce the complexity of deep network models. Recent pruning methods usually identify which parts of the network to discard by proposing a channel importance criterion. However, recent studies have shown that these criteria do not work well in all conditions. In this paper, we propose a novel Feature Shift Minimization (FSM) method to compress CNN models, which evaluates the feature shift by converging the information of both features and filters. Specifically, we first investigate the compression efficiency with some prevalent methods in different layer-depths and then propose the feature shift concept. Then, we introduce an approximation method to estimate the magnitude of the feature shift, since it is difficult to compute it directly. Besides, we present a distribution-optimization algorithm to compensate for the accuracy loss and improve the network compression efficiency. The proposed method yields state-of-the-art performance on various benchmark networks and datasets, verified by extensive experiments. The codes can be available at \url{https://github.com/lscgx/FSM}.
• Abstract（参考訳）: チャネルプルーニングはディープネットワークモデルの複雑さを減らすために広く使われている。 最近のプルーニング手法では、ネットワークのどの部分を捨てるかをチャネル重要基準(channel importance criterion)の提案によって特定する。 しかし、最近の研究では、これらの基準は全ての条件でうまく機能しないことが示された。 本稿では,cnnモデル圧縮のための特徴シフト最小化(fsm)手法を提案する。 具体的には,まず各層深度における圧縮効率について検討し,特徴シフトの概念を提案する。 そこで本研究では,直接計算することが困難であるため,特徴量の大きさを推定する近似手法を提案する。 さらに,精度損失を補償し,ネットワーク圧縮効率を向上させる分布最適化アルゴリズムを提案する。 提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。 コードは \url{https://github.com/lscgx/FSM} で入手できる。

関連論文リスト

• Group channel pruning and spatial attention distilling for object detection [2.8675002818821542]
  動的スパーストレーニング,グループチャネルプルーニング,空間アテンション蒸留という3段階モデル圧縮手法を提案する。 本手法は,モデルのパラメータを64.7%削減し,計算量を34.9%削減する。
  論文  参考訳（メタデータ） (2023-06-02T13:26:23Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)
• Rethinking Differentiable Search for Mixed-Precision Neural Networks [83.55785779504868]
  低ビット幅に量子化された重みとアクティベーションを持つ低精度ネットワークは、エッジデバイスでの推論を加速するために広く利用されている。 現在の解は均一であり、全てのフィルタに同じビット幅を使用する。 これは異なるフィルタの異なる感度を考慮せず、最適以下である。 混合精度ネットワークは、ビット幅を個々のフィルタ要求に調整することでこの問題に対処する。
  論文  参考訳（メタデータ） (2020-04-13T07:02:23Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• MINT: Deep Network Compression via Mutual Information-based Neuron Trimming [32.449324736645586]
  Mutual Information-based Neuron Trimming (MINT) はプルーニングによる深部圧縮にアプローチする。 MINTは、隣り合う層のフィルタ間の関係の強さに基づいて間隔を強制する。 ネットワークを刈り取る際には、保持されたフィルタが後続層への情報の大部分に寄与することを保証します。
  論文  参考訳（メタデータ） (2020-03-18T21:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。