論文の概要: Learning Pruned Structure and Weights Simultaneously from Scratch: an
Attention based Approach
- arxiv url: http://arxiv.org/abs/2111.02399v1
- Date: Mon, 1 Nov 2021 02:27:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-06 05:36:19.278543
- Title: Learning Pruned Structure and Weights Simultaneously from Scratch: an
Attention based Approach
- Title(参考訳): スクラッチから同時に刈り取った構造と重みを学習する:注意に基づくアプローチ
- Authors: Qisheng He, Ming Dong, Loren Schwiebert, Weisong Shi
- Abstract要約: 我々は、新しい非構造化プルーニングパイプライン、注意に基づく同時スパース構造と重み学習(ASWL)を提案する。
ASWLは, 各層毎の層単位でのプルーニング比を計算する効率的なアルゴリズムを提案し, 密集ネットワークとスパースネットワークの重みをランダムな重みから同時に学習するように追従する。
MNIST, Cifar10, ImageNet を用いた実験により, ASWL は精度, プルーニング率, 運転効率の点で, 優れたプルーニング結果が得られることが示された。
- 参考スコア(独自算出の注目度): 4.284071491453377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As a deep learning model typically contains millions of trainable weights,
there has been a growing demand for a more efficient network structure with
reduced storage space and improved run-time efficiency. Pruning is one of the
most popular network compression techniques. In this paper, we propose a novel
unstructured pruning pipeline, Attention-based Simultaneous sparse structure
and Weight Learning (ASWL). Unlike traditional channel-wise or weight-wise
attention mechanism, ASWL proposed an efficient algorithm to calculate the
pruning ratio through layer-wise attention for each layer, and both weights for
the dense network and the sparse network are tracked so that the pruned
structure is simultaneously learned from randomly initialized weights. Our
experiments on MNIST, Cifar10, and ImageNet show that ASWL achieves superior
pruning results in terms of accuracy, pruning ratio and operating efficiency
when compared with state-of-the-art network pruning methods.
- Abstract(参考訳): ディープラーニングモデルには通常、数百万のトレーニング可能なウェイトが含まれているため、ストレージスペースの削減とランタイム効率の向上という、より効率的なネットワーク構造に対する需要が高まっている。
プルーニングは最も人気のあるネットワーク圧縮技術の一つである。
本稿では,非構造化プルーニングパイプライン,注意に基づく同時スパース構造と重み学習(ASWL)を提案する。
従来のチャネルワイドやウェイトワイドアテンション機構とは異なり、ASWLは各層に対する層ワイドアテンションによるプルーニング比を計算する効率的なアルゴリズムを提案し、密集ネットワークとスパースネットワークの重みをランダムに初期化した重みから同時に学習するように追跡する。
MNIST, Cifar10, ImageNet を用いた実験により, ASWL は最先端のネットワークプルーニング手法と比較して, 精度, プルーニング率, 動作効率で優れたプルーニング結果が得られることを示した。
関連論文リスト
- Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳(メタデータ) (2024-06-06T23:19:57Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-10-23T18:37:22Z) - Neural Network Compression via Effective Filter Analysis and
Hierarchical Pruning [41.19516938181544]
現在のネットワーク圧縮法には、最大圧縮率を推定する理論的な枠組みが欠如している。
本研究では,ネットワークの最大冗長性を推定するための勾配行列特異点解析に基づく手法を提案する。
この最大速度で導かれ,ネットワーク性能を犠牲にすることなく,ニューロンネットワーク構造を最大化するために,新規で効率的な階層型ネットワークプルーニングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-06-07T21:30:47Z) - i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery [11.119895959906085]
ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復型スパース構造化プルーニングを提案する。
i-SpaSPはネットワーク内の重要なパラメータ群を識別することで動作し、プルーニングされたネットワーク出力と高密度なネットワーク出力の残差に最も寄与する。
高い性能のサブネットワークを発見し, 証明可能なベースライン手法のプルーニング効率を, 数桁の精度で向上させることが示されている。
論文 参考訳(メタデータ) (2021-12-07T05:26:45Z) - Network Pruning via Resource Reallocation [75.85066435085595]
rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。
PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。
実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
論文 参考訳(メタデータ) (2021-03-02T16:28:10Z) - Growing Efficient Deep Networks by Structured Continuous Sparsification [34.7523496790944]
私たちは、トレーニングの過程でディープネットワークアーキテクチャを成長させるアプローチを開発します。
我々の手法は、小さくてシンプルなシードアーキテクチャから始まり、動的に成長し、層とフィルタの両方を熟成することができる。
ImageNetのベースラインであるResNet-50と比較すると、推論FLOPは49.7%、トレーニングFLOPは47.4%である。
論文 参考訳(メタデータ) (2020-07-30T10:03:47Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳(メタデータ) (2020-04-17T19:12:39Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2020-04-06T15:51:00Z) - Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。
実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文 参考訳(メタデータ) (2020-02-19T16:00:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。