論文の概要: i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery
- arxiv url: http://arxiv.org/abs/2112.04905v1
- Date: Tue, 7 Dec 2021 05:26:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-11 04:10:31.302480
- Title: i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery
- Title（参考訳）: i-SpaSP:スパース信号再生による構造化ニューラルプルーニング
- Authors: Cameron R. Wolfe and Anastasios Kyrillidis
- Abstract要約: ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復型スパース構造化プルーニングを提案する。
i-SpaSPはネットワーク内の重要なパラメータ群を識別することで動作し、プルーニングされたネットワーク出力と高密度なネットワーク出力の残差に最も寄与する。
高い性能のサブネットワークを発見し, 証明可能なベースライン手法のプルーニング効率を, 数桁の精度で向上させることが示されている。
- 参考スコア（独自算出の注目度）: 11.119895959906085
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel, structured pruning algorithm for neural networks -- the
iterative, Sparse Structured Pruning algorithm, dubbed as i-SpaSP. Inspired by
ideas from sparse signal recovery, i-SpaSP operates by iteratively identifying
a larger set of important parameter groups (e.g., filters or neurons) within a
network that contribute most to the residual between pruned and dense network
output, then thresholding these groups based on a smaller, pre-defined pruning
ratio. For both two-layer and multi-layer network architectures with ReLU
activations, we show the error induced by pruning with i-SpaSP decays
polynomially, where the degree of this polynomial becomes arbitrarily large
based on the sparsity of the dense network's hidden representations. In our
experiments, i-SpaSP is evaluated across a variety of datasets (i.e., MNIST and
ImageNet) and architectures (i.e., feed forward networks, ResNet34, and
MobileNetV2), where it is shown to discover high-performing sub-networks and
improve upon the pruning efficiency of provable baseline methodologies by
several orders of magnitude. Put simply, i-SpaSP is easy to implement with
automatic differentiation, achieves strong empirical results, comes with
theoretical convergence guarantees, and is efficient, thus distinguishing
itself as one of the few computationally efficient, practical, and provable
pruning algorithms.
- Abstract（参考訳）: ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復的なスパース構造化プルーニングアルゴリズムを提案する。
i-SpaSPはスパース信号リカバリのアイデアに触発され、ネットワーク内の重要なパラメータ群(フィルタやニューロンなど)の集合を反復的に同定し、プルーニングと密度の高いネットワーク出力の残差に最も寄与し、より小さく定義されたプルーニング比に基づいてこれらのグループを閾値付けする。
ReLUアクティベーションを持つ2層ネットワークアーキテクチャと多層ネットワークアーキテクチャにおいて、i-SpaSPによるプルーニングによる誤差は多項式的に減少し、この多項式の次数は高密度ネットワークの隠蔽表現の空間性に基づいて任意に大きくなる。
我々の実験では、i-SpaSPは様々なデータセット(MNISTとImageNet)とアーキテクチャ(フィードフォワードネットワーク、ResNet34、MobileNetV2)で評価され、ハイパフォーマンスなサブネットワークを発見し、証明可能なベースライン方法論のプルーニング効率を数桁改善することが示されている。
簡単に言えば、i-spaspは自動微分によって容易に実装でき、強力な経験的結果を達成し、理論的収束保証を伴い、効率的である。
関連論文リスト
- SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。
大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。
本手法は精度と計算効率の両面で最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-10-14T04:01:08Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - A Multi-objective Complex Network Pruning Framework Based on
Divide-and-conquer and Global Performance Impairment Ranking [40.59001171151929]
本稿では,多目的複合ネットワークプルーニングフレームワークを提案する。
提案アルゴリズムは,最先端プルーニング手法と同等の性能を実現する。
論文 参考訳（メタデータ） (2023-03-28T12:05:15Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - Neural Network Compression via Effective Filter Analysis and
Hierarchical Pruning [41.19516938181544]
現在のネットワーク圧縮法には、最大圧縮率を推定する理論的な枠組みが欠如している。
本研究では,ネットワークの最大冗長性を推定するための勾配行列特異点解析に基づく手法を提案する。
この最大速度で導かれ,ネットワーク性能を犠牲にすることなく,ニューロンネットワーク構造を最大化するために,新規で効率的な階層型ネットワークプルーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-07T21:30:47Z) - SOSP: Efficiently Capturing Global Correlations by Second-Order
Structured Pruning [8.344476599818828]
我々は2次構造化プルーニング(SOSP)のための2つの新しいサリエンシに基づく手法を考案した。
SOSP-Hは、高速なヘッセンベクトル生成物による塩分濃度評価を可能にする、革新的な二階近似を採用している。
我々のアルゴリズムは、アーキテクチャ上のボトルネックを体系的に明らかにし、ネットワークの精度をさらに高めるために取り除くことができることを示す。
論文 参考訳（メタデータ） (2021-10-19T13:53:28Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。