論文の概要: Structured Pruning for Deep Convolutional Neural Networks: A survey
- arxiv url: http://arxiv.org/abs/2303.00566v2
- Date: Thu, 30 Nov 2023 15:39:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 20:43:10.317972
- Title: Structured Pruning for Deep Convolutional Neural Networks: A survey
- Title（参考訳）: 深層畳み込みニューラルネットワークのための構造化プルーニング:調査
- Authors: Yang He, Lingao Xiao
- Abstract要約: これにより、ストレージと計算コストを効果的に削減するため、ニューラルネットワークのプルーニングが関心を集めている。
本稿では, 深部CNNの構造化プルーニングに向けた最近の進展を概観する。
本稿では,フィルタランキング手法,正規化手法,動的実行,ニューラルネットワーク探索,抽選チケット仮説,プルーニングの応用について,最先端の構造化プルーニング手法を要約して比較する。
- 参考スコア（独自算出の注目度）: 2.811264250666485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The remarkable performance of deep Convolutional neural networks (CNNs) is
generally attributed to their deeper and wider architectures, which can come
with significant computational costs. Pruning neural networks has thus gained
interest since it effectively lowers storage and computational costs. In
contrast to weight pruning, which results in unstructured models, structured
pruning provides the benefit of realistic acceleration by producing models that
are friendly to hardware implementation. The special requirements of structured
pruning have led to the discovery of numerous new challenges and the
development of innovative solutions. This article surveys the recent progress
towards structured pruning of deep CNNs. We summarize and compare the
state-of-the-art structured pruning techniques with respect to filter ranking
methods, regularization methods, dynamic execution, neural architecture search,
the lottery ticket hypothesis, and the applications of pruning. While
discussing structured pruning algorithms, we briefly introduce the unstructured
pruning counterpart to emphasize their differences. Furthermore, we provide
insights into potential research opportunities in the field of structured
pruning. A curated list of neural network pruning papers can be found at
https://github.com/he-y/Awesome-Pruning . A dedicated website offering a more
interactive comparison of structured pruning methods can be found at:
https://huggingface.co/spaces/he-yang/Structured-Pruning-Survey .
- Abstract（参考訳）: 深層畳み込みニューラルネットワーク(cnns)の顕著な性能は、その深く広いアーキテクチャに起因するものであり、かなりの計算コストがかかる可能性がある。
そのため、ストレージと計算コストを効果的に削減するため、プルーニングニューラルネットワークは関心を集めている。
重み付けとは対照的に、構造化プルーニングはハードウェア実装に親しみやすいモデルを生成することにより、現実的な加速の利点を提供する。
構造化プルーニングの特別な要件は、多くの新しい課題の発見と革新的なソリューションの開発につながった。
本稿では, 深部CNNの構造解析への最近の進歩について述べる。
本稿では,フィルタランキング法,正規化法,動的実行法,ニューラルアーキテクチャ探索法,抽選チケット仮説,プルーニングの応用について,最先端の構造化プルーニング手法を要約・比較した。
構造化プルーニングアルゴリズムについて議論しながら,その違いを強調するために,非構造化プルーニングアルゴリズムを紹介した。
さらに,構造的刈り取りの分野における潜在的研究機会について考察する。
ニューラルネットワークプルーニング論文のキュレートされたリストは、https://github.com/he-y/Awesome-Pruning.orgにある。
構造化プルーニングメソッドのよりインタラクティブな比較を提供する専用ウェブサイトは、https://huggingface.co/spaces/he-yang/Structured-Pruning-Survey で見ることができる。
関連論文リスト
- Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。
本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
論文 参考訳（メタデータ） (2024-06-03T07:44:37Z) - Structurally Prune Anything: Any Architecture, Any Framework, Any Time [84.6210631783801]
ニューラルネットワークのための汎用的な構造化プルーニングフレームワークであるStructurely Prune Anything (SPA)を紹介した。
SPAは、トレーニング前、微調整後のトレーニング後、または微調整なしでのトレーニング後、いつでもプランニングをサポートする。
大規模な実験では、SPAは様々なアーキテクチャで最先端のプルーニング性能と競合することを示した。
論文 参考訳（メタデータ） (2024-03-03T13:49:49Z) - Network Pruning Spaces [12.692532576302426]
ウェイトプルーニングやフィルタプルーニングなどのネットワークプルーニング技術により、ほとんどの最先端のニューラルネットワークは、大幅な性能低下なしに加速できることが明らかになった。
この研究は、市販のディープラーニングライブラリやハードウェアで推論を高速化するフィルタプルーニングに焦点を当てている。
論文 参考訳（メタデータ） (2023-04-19T06:52:05Z) - Dynamic Structure Pruning for Compressing CNNs [13.73717878732162]
本研究では, チャネル内プルーニングに最適なプルーニング粒度を特定するため, 動的プルーニングと呼ばれる新しい構造プルーニング法を提案する。
実験結果から, チャネルプルーニングと比較して, 動的構造プルーニングがGPU上での最先端のプルーニング性能, より現実的なアクセラレーションを実現することが示された。
論文 参考訳（メタデータ） (2023-03-17T02:38:53Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - Deep Neural Networks pruning via the Structured Perspective
Regularization [5.061851539114448]
機械学習では、ニューラルネットワーク(ANN)は非常に強力なツールであり、多くのアプリケーションで広く使われている。
ANN(リンク、ノード、チャネル、ldots)のすべての要素と対応する重みが削除される。
問題の性質は本質的に(プルーンの要素とそうでない要素)であるので,オペレーショナルリサーチツールに基づく新たなプルーニング手法を提案する。
論文 参考訳（メタデータ） (2022-06-28T14:58:51Z) - Pruning-as-Search: Efficient Neural Architecture Search via Channel
Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。
提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文 参考訳（メタデータ） (2022-06-02T17:58:54Z) - RED : Looking for Redundancies for Data-Free Structured Compression of
Deep Neural Networks [36.027765880474526]
我々は、構造化プルーニングに取り組むために、データフリーで構造化された統一的なアプローチREDを提案する。
まず、同一ニューロンの数を増やすために、スカラー重量分布密度を適応的にハッシュする手法を提案する。
第2に、それらの距離によって定義される相対的類似性に基づいて、冗長ニューロンをマージすることで、ネットワークを訓練する。
第3に,畳み込み層をさらに深層化するための不均一な分離手法を提案する。
論文 参考訳（メタデータ） (2021-05-31T08:44:14Z) - On the Exploitation of Neuroevolutionary Information: Analyzing the Past
for a More Efficient Future [60.99717891994599]
本稿では,神経進化過程から情報を抽出し,メタモデルを構築するアプローチを提案する。
本稿では, 異なる特徴を有する生成的対向ネットワークの神経進化的探索における最良の構造について検討する。
論文 参考訳（メタデータ） (2021-05-26T20:55:29Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:38:38Z) - Robust Pruning at Initialization [61.30574156442608]
計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。
ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
論文 参考訳（メタデータ） (2020-02-19T17:09:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。