論文の概要: Dual sparse training framework: inducing activation map sparsity via Transformed $\ell1$ regularization
- arxiv url: http://arxiv.org/abs/2405.19652v1
- Date: Thu, 30 May 2024 03:11:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 18:26:21.611516
- Title: Dual sparse training framework: inducing activation map sparsity via Transformed $\ell1$ regularization
- Title（参考訳）: デュアルスパーストレーニングフレームワーク: Transformed $\ell1$ regularizationによるアクティベーションマップのスパーシティの誘導
- Authors: Xiaolong Yu, Cong Tian,
- Abstract要約: 本稿では,Transformed $ell1$ regularizationに基づいて,アクティベーションマップの間隔を推定する手法を提案する。
以前の方法と比較すると、transformed $ell1$ はより高い空間性を実現し、異なるネットワーク構造に適応できる。
デュアルスパーストレーニングフレームワークは、計算負荷を大幅に削減し、実行時に必要なストレージを削減できる可能性がある。
- 参考スコア（独自算出の注目度）: 2.631955426232593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although deep convolutional neural networks have achieved rapid development, it is challenging to widely promote and apply these models on low-power devices, due to computational and storage limitations. To address this issue, researchers have proposed techniques such as model compression, activation sparsity induction, and hardware accelerators. This paper presents a method to induce the sparsity of activation maps based on Transformed $\ell1$ regularization, so as to improve the research in the field of activation sparsity induction. Further, the method is innovatively combined with traditional pruning, constituting a dual sparse training framework. Compared to previous methods, Transformed $\ell1$ can achieve higher sparsity and better adapt to different network structures. Experimental results show that the method achieves improvements by more than 20\% in activation map sparsity on most models and corresponding datasets without compromising the accuracy. Specifically, it achieves a 27.52\% improvement for ResNet18 on the ImageNet dataset, and a 44.04\% improvement for LeNet5 on the MNIST dataset. In addition, the dual sparse training framework can greatly reduce the computational load and provide potential for reducing the required storage during runtime. Specifically, the ResNet18 and ResNet50 models obtained by the dual sparse training framework respectively reduce 81.7\% and 84.13\% of multiplicative floating-point operations, while maintaining accuracy and a low pruning rate.
- Abstract（参考訳）: 深層畳み込みニューラルネットワークは急速な発展を遂げているが、計算とストレージの制限のため、これらのモデルを低消費電力デバイスに広く普及させ、適用することは困難である。
この問題に対処するため、モデル圧縮、アクティベーション・スパシティ・インジェクション、ハードウェア・アクセラレーターなどの手法が提案されている。
本稿では,Transformed $\ell1$ regularization に基づく活性化マップのスパーシリティを誘導する手法を提案する。
さらに、この方法は従来の刈り込みと革新的に組み合わされ、二重スパーストレーニングフレームワークを構成する。
以前の方法と比較すると、Transformed $\ell1$ はより高い空間性を実現し、異なるネットワーク構造に適応できる。
実験結果から,ほとんどのモデルおよび対応するデータセット上でのアクティベーションマップの間隔が20\%以上向上し,精度を損なうことなく達成できることが示唆された。
具体的には、ImageNetデータセットでResNet18が27.52\%改善され、MNISTデータセットでLeNet5が44.04\%改善された。
さらに、デュアルスパーストレーニングフレームワークは、計算負荷を大幅に削減し、実行時に必要なストレージを削減できる可能性がある。
具体的には、デュアルスパーストレーニングフレームワークによって得られたResNet18とResNet50モデルは、精度と低プルーニング率を維持しながら、乗算浮動小数点演算の81.7\%と84.13\%をそれぞれ削減した。
関連論文リスト
- Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - Accelerating Deep Neural Networks via Semi-Structured Activation
Sparsity [0.0]
ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。
そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。
当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
論文 参考訳（メタデータ） (2023-09-12T22:28:53Z) - AUTOSPARSE: Towards Automated Sparse Training of Deep Neural Networks [2.6742343015805083]
本稿では,ニューラルネットワーク内に存在する空間の均一分布を探索するグラディエント・アナリング(GA)を提案する。
GAは、余剰を誘導する正規化を必要とせずに、余剰と正確性の間のエレガントなトレードオフを提供する。
GAと最新の学習可能なプルーニング手法を統合し、AutoSparseと呼ばれる自動スパーストレーニングアルゴリズムを作成する。
論文 参考訳（メタデータ） (2023-04-14T06:19:07Z) - LilNetX: Lightweight Networks with EXtreme Model Compression and
Structured Sparsification [36.651329027209634]
LilNetXは、ニューラルネットワークのためのエンドツーエンドのトレーニング可能なテクニックである。
特定の精度-レート-計算トレードオフを持つ学習モデルを可能にする。
論文 参考訳（メタデータ） (2022-04-06T17:59:10Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-04-29T05:50:54Z) - Efficient Sparse Artificial Neural Networks [11.945854832533232]
この脳は、ANN(Artificial Neural Networks)のインスピレーションの源として、スパース構造に基づいている。
このスパース構造は、脳のエネルギー消費を減らし、より容易に学習し、パターンを他のどのANNよりも一般化するのに役立ちます。
本論文では,ANNにスパース性を導入するための2つの進化的手法を提案する。
論文 参考訳（メタデータ） (2021-03-13T10:03:41Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z) - Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks [9.409651543514615]
この研究は、フィルタ内で定期的に繰り返されるサポートセットを持つ、事前に定義されたスパース2Dカーネルを持つ畳み込みレイヤを導入している。
周期的なスパースカーネルの効率的な保存のため、パラメータの節約はエネルギー効率を大幅に向上させることができる。
論文 参考訳（メタデータ） (2020-01-29T07:10:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。