論文の概要: A "Network Pruning Network" Approach to Deep Model Compression

• arxiv url: http://arxiv.org/abs/2001.05545v1
• Date: Wed, 15 Jan 2020 20:38:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 05:39:14.916946
• Title: A "Network Pruning Network" Approach to Deep Model Compression
• Title（参考訳）: ネットワーク・プルーニング・ネットワーク」による深部モデル圧縮
• Authors: Vinay Kumar Verma, Pravendra Singh, Vinay P. Namboodiri, Piyush Rai
• Abstract要約: マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。 我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。 提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
• 参考スコア（独自算出の注目度）: 62.68120664998911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a filter pruning approach for deep model compression, using a multitask network. Our approach is based on learning a a pruner network to prune a pre-trained target network. The pruner is essentially a multitask deep neural network with binary outputs that help identify the filters from each layer of the original network that do not have any significant contribution to the model and can therefore be pruned. The pruner network has the same architecture as the original network except that it has a multitask/multi-output last layer containing binary-valued outputs (one per filter), which indicate which filters have to be pruned. The pruner's goal is to minimize the number of filters from the original network by assigning zero weights to the corresponding output feature-maps. In contrast to most of the existing methods, instead of relying on iterative pruning, our approach can prune the network (original network) in one go and, moreover, does not require specifying the degree of pruning for each layer (and can learn it instead). The compressed model produced by our approach is generic and does not need any special hardware/software support. Moreover, augmenting with other methods such as knowledge distillation, quantization, and connection pruning can increase the degree of compression for the proposed approach. We show the efficacy of our proposed approach for classification and object detection tasks.
• Abstract（参考訳）: マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。 このアプローチはprunerネットワークを学習して、トレーニング済みのターゲットネットワークをpruneする。 prunerは本質的にはマルチタスクのディープニューラルネットワークであり、バイナリ出力を持ち、モデルに何の貢献も持たない、したがって刈り取ることができる元のネットワークの各層からフィルタを識別するのに役立つ。 prunerネットワークは元のネットワークと同じアーキテクチャを持つが、マルチタスク/マルチアウトプット最後のレイヤにはバイナリ値の出力(フィルタ毎に1つ)が含まれており、どのフィルタを刈り取る必要があるかを示している。 prunerの目標は、対応する出力特徴マップにゼロウェイトを割り当てることで、元のネットワークからのフィルタ数を最小化することである。 既存のほとんどの手法とは対照的に、反復的なプルーニングに頼るのではなく、ネットワーク(元のネットワーク)を1行でプルークできるため、各レイヤに対してプルーニングの度合いを指定する必要はなく、代わりに学習することができる。 私たちのアプローチによって生成された圧縮モデルは汎用的で、特別なハードウェアやソフトウェアのサポートは不要です。 さらに, 知識蒸留, 量子化, 接続プルーニングなどの他の手法を加味することで, 提案手法の圧縮度を高めることができる。 本稿では,分類・対象検出タスクにおける提案手法の有効性を示す。

関連論文リスト

• Group channel pruning and spatial attention distilling for object detection [2.8675002818821542]
  動的スパーストレーニング,グループチャネルプルーニング,空間アテンション蒸留という3段階モデル圧縮手法を提案する。 本手法は,モデルのパラメータを64.7%削減し,計算量を34.9%削減する。
  論文  参考訳（メタデータ） (2023-06-02T13:26:23Z)
• Convolutional Neural Network Pruning with Structural Redundancy Reduction [11.381864384054824]
  構造的冗長性は重要でないフィルタを見つけるよりも重要な役割を担っていると我々は主張する。 本研究では,CNNの構造冗長性を同定し,選択層内のプルーンフィルタを最も冗長性の高いネットワークプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-08T00:16:24Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• Comprehensive Online Network Pruning via Learnable Scaling Factors [3.274290296343038]
  ディープCNNは、その重要性に基づいてフィルタを除去することで幅的に刈り取るか、レイヤやブロックを除去することで深さ的に刈り取ることができる。 本研究では,幅ワイドおよび深さワイドプルーニングを両立できる包括的プルーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-06T11:04:17Z)
• MTP: Multi-Task Pruning for Efficient Semantic Segmentation Networks [32.84644563020912]
  セマンティックセグメンテーションネットワークのためのマルチタスクチャネルプルーニング手法を提案する。 各畳み込みフィルタの重要性は、任意の層のチャネルを分類と分割タスクによって同時に決定する。 いくつかのベンチマークによる実験結果は、最先端の刈り取り法よりも提案アルゴリズムの方が優れていることを示している。
  論文  参考訳（メタデータ） (2020-07-16T15:03:01Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression [145.04742985050808]
  我々は,フィルタプルーニングと低ランク分解という2つの一般的なネットワーク圧縮手法を統一的に解析する。 スパシティ正規化の実施方法を変えることにより、フィルタプルーニングと低ランク分解を導出することができる。 われわれの手法は、いくつかのベンチマークにおける最先端の手法と比較し、その可能性を証明している。
  論文  参考訳（メタデータ） (2020-03-19T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。