論文の概要: Dynamic Structure Pruning for Compressing CNNs

• arxiv url: http://arxiv.org/abs/2303.09736v1
• Date: Fri, 17 Mar 2023 02:38:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-20 15:50:30.020329
• Title: Dynamic Structure Pruning for Compressing CNNs
• Title（参考訳）: 圧縮CNNの動的構造解析
• Authors: Jun-Hyung Park, Yeachan Kim, Junho Kim, Joon-Young Choi, SangKeun Lee
• Abstract要約: 本研究では, チャネル内プルーニングに最適なプルーニング粒度を特定するため, 動的プルーニングと呼ばれる新しい構造プルーニング法を提案する。 実験結果から, チャネルプルーニングと比較して, 動的構造プルーニングがGPU上での最先端のプルーニング性能, より現実的なアクセラレーションを実現することが示された。
• 参考スコア（独自算出の注目度）: 13.73717878732162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structure pruning is an effective method to compress and accelerate neural networks. While filter and channel pruning are preferable to other structure pruning methods in terms of realistic acceleration and hardware compatibility, pruning methods with a finer granularity, such as intra-channel pruning, are expected to be capable of yielding more compact and computationally efficient networks. Typical intra-channel pruning methods utilize a static and hand-crafted pruning granularity due to a large search space, which leaves room for improvement in their pruning performance. In this work, we introduce a novel structure pruning method, termed as dynamic structure pruning, to identify optimal pruning granularities for intra-channel pruning. In contrast to existing intra-channel pruning methods, the proposed method automatically optimizes dynamic pruning granularities in each layer while training deep neural networks. To achieve this, we propose a differentiable group learning method designed to efficiently learn a pruning granularity based on gradient-based learning of filter groups. The experimental results show that dynamic structure pruning achieves state-of-the-art pruning performance and better realistic acceleration on a GPU compared with channel pruning. In particular, it reduces the FLOPs of ResNet50 by 71.85% without accuracy degradation on the ImageNet dataset. Our code is available at https://github.com/irishev/DSP.
• Abstract（参考訳）: 構造プルーニングはニューラルネットワークを圧縮し加速する効果的な方法である。 フィルタやチャネルプルーニングは他の構造プルーニング法よりもリアルなアクセラレーションやハードウェアとの互換性が望ましいが、チャネル内プルーニングのような粒度の細かいプルーニング法では、よりコンパクトで計算効率のよいネットワークが得られることが期待されている。 典型的なチャネル内プルーニング法は、大きな探索空間のために静的かつ手作りのプルーニング粒度を利用し、プルーニング性能の改善の余地を残している。 本稿では,チャネル内プルーニングの最適プルーニング粒度を特定するために,動的構造プルーニングと呼ばれる新しい構造プルーニング法を提案する。 既存のチャネル内プルーニング法とは対照的に,提案手法はディープニューラルネットワークを訓練しながら各層における動的プルーニング粒度を自動的に最適化する。 そこで本研究では,フィルタ群の勾配に基づく学習に基づいて,プルーニング粒度を効率的に学習するグループ学習手法を提案する。 実験結果から, チャネルプルーニングと比較して, 動的構造プルーニングがGPU上での最先端のプルーニング性能, より現実的なアクセラレーションを実現することが示された。 特に、ImageNetデータセットの精度劣化なしに、ResNet50のFLOPを71.85%削減する。 私たちのコードはhttps://github.com/irishev/dsp.comで利用可能です。

関連論文リスト

• Structured Pruning for Deep Convolutional Neural Networks: A survey [2.811264250666485]
  これにより、ストレージと計算コストを効果的に削減するため、ニューラルネットワークのプルーニングが関心を集めている。 本稿では, 深部CNNの構造化プルーニングに向けた最近の進展を概観する。 本稿では,フィルタランキング手法,正規化手法,動的実行,ニューラルネットワーク探索,抽選チケット仮説,プルーニングの応用について,最先端の構造化プルーニング手法を要約して比較する。
  論文  参考訳（メタデータ） (2023-03-01T15:12:55Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks [12.541769091896624]
  プルーニングはディープニューラルネットワーク(DNN)の冗長パラメータを除去するモデル圧縮法である 特徴フロー正則化(FFR)と呼ばれる特徴の進化という新たな視点から, 単純かつ効果的な正則化戦略を提案する。 VGGNets、CIFAR-10/100上のResNets、Tiny ImageNetデータセットによる実験では、FFRが非構造化と構造化の両方の空間性を大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2021-06-05T15:00:50Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Network Pruning via Resource Reallocation [75.85066435085595]
  rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。 PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。 実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
  論文  参考訳（メタデータ） (2021-03-02T16:28:10Z)
• Towards Optimal Filter Pruning with Balanced Performance and Pruning Speed [17.115185960327665]
  本稿では,性能とプルーニング速度の両立のために,バランスの取れたフィルタプルーニング法を提案する。 提案手法は, 約層幅の最適プルーニング速度を予め設定した損失変動で再現できる。 提案手法は共通アーキテクチャに適用可能であり,最終微調整以外の追加訓練は行わない。
  論文  参考訳（メタデータ） (2020-10-14T06:17:09Z)
• Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
  マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。 我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。 実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2020-02-12T05:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。