論文の概要: Campfire: Compressible, Regularization-Free, Structured Sparse Training
for Hardware Accelerators
- arxiv url: http://arxiv.org/abs/2001.03253v2
- Date: Mon, 13 Jan 2020 01:35:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 04:31:05.610759
- Title: Campfire: Compressible, Regularization-Free, Structured Sparse Training
for Hardware Accelerators
- Title（参考訳）: campfire: ハードウェアアクセラレータのための圧縮可能、正規化フリー、構造化スパーストレーニング
- Authors: Noah Gamboa, Kais Kudrolli, Anand Dhoot, Ardavan Pedram
- Abstract要約: 本稿では, 段階的刈り込みによるCNNのスパース訓練について検討する。
強制空間の構造を単純化し、正規化によるオーバーヘッドを低減する。
本稿では,ResNet-50とResNet-50 v1.5のスパースバージョンをフルイメージネット上で生成し,1%の精度損失の範囲内に留まっていることを示す。
- 参考スコア（独自算出の注目度）: 0.04666493857924356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies structured sparse training of CNNs with a gradual pruning
technique that leads to fixed, sparse weight matrices after a set number of
epochs. We simplify the structure of the enforced sparsity so that it reduces
overhead caused by regularization. The proposed training methodology Campfire
explores pruning at granularities within a convolutional kernel and filter.
We study various tradeoffs with respect to pruning duration, level of
sparsity, and learning rate configuration. We show that our method creates a
sparse version of ResNet-50 and ResNet-50 v1.5 on full ImageNet while remaining
within a negligible <1% margin of accuracy loss. To ensure that this type of
sparse training does not harm the robustness of the network, we also
demonstrate how the network behaves in the presence of adversarial attacks. Our
results show that with 70% target sparsity, over 75% top-1 accuracy is
achievable.
- Abstract（参考訳）: 本稿では,cnnのスライストレーニングを段階的プルーニング技術を用いて構成し,一定数のエポックの後に一定のスライス重み行列を導出する。
強制されたスパーシティの構造を単純化し、正規化によるオーバーヘッドを削減する。
提案されたトレーニング手法であるCampfireは、畳み込みカーネルとフィルタ内の粒度でのプルーニングを探索する。
刈り込み期間,疎度レベル,学習率設定に関して,さまざまなトレードオフについて検討する。
本手法はフルイメージネット上でresnet-50とresnet-50 v1.5のスパースバージョンを作成し,精度損失の1%以上にとどまった。
このようなスパーストレーニングがネットワークの堅牢性に悪影響を及ぼさないことを保証するため、敵攻撃の有無でネットワークがどのように振る舞うかを実証する。
以上の結果から,70%以上のターゲット間隔で,75%以上のTop-1精度が達成可能であることがわかった。
関連論文リスト
- Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - AUTOSPARSE: Towards Automated Sparse Training of Deep Neural Networks [2.6742343015805083]
本稿では,ニューラルネットワーク内に存在する空間の均一分布を探索するグラディエント・アナリング(GA)を提案する。
GAは、余剰を誘導する正規化を必要とせずに、余剰と正確性の間のエレガントなトレードオフを提供する。
GAと最新の学習可能なプルーニング手法を統合し、AutoSparseと呼ばれる自動スパーストレーニングアルゴリズムを作成する。
論文 参考訳（メタデータ） (2023-04-14T06:19:07Z) - Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。
本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。
我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
論文 参考訳（メタデータ） (2022-06-26T00:37:33Z) - End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。
提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文 参考訳（メタデータ） (2022-04-15T10:21:05Z) - The Unreasonable Effectiveness of Random Pruning: Return of the Most
Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。
我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。
以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文 参考訳（メタデータ） (2022-02-05T21:19:41Z) - Post-training deep neural network pruning via layer-wise calibration [70.65691136625514]
本論文では,自動合成フラクタル画像に基づくコンピュータビジョンモデルに対するデータフリーな拡張を提案する。
実データを使用する場合は、トレーニング後の設定で65%の間隔で8ビットの精度でImageNet上のResNet50モデルを取得できます。
論文 参考訳（メタデータ） (2021-04-30T14:20:51Z) - Layer Pruning via Fusible Residual Convolutional Block for Deep Neural
Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。
残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。
本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文 参考訳（メタデータ） (2020-11-29T12:51:16Z) - Pruning Filters while Training for Efficiently Optimizing Deep Learning
Networks [6.269700080380206]
深層ネットワークの重みを少なくするプルーニング技術が提案されている。
本研究では,訓練中に深層ネットワークのフィルタをプーンする動的プルーニング学習手法を提案する。
その結果, フィルタの50%をプルーニングすると, ほぼ精度の低下のない圧縮ネットワークが得られることがわかった。
論文 参考訳（メタデータ） (2020-03-05T18:05:17Z) - Picking Winning Tickets Before Training by Preserving Gradient Flow [9.67608102763644]
効率的なトレーニングには,ネットワーク内の勾配流の保存が必要である,と我々は主張する。
CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNetにおいて, 提案手法の有効性を実験的に検討した。
論文 参考訳（メタデータ） (2020-02-18T05:14:47Z) - Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。
ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
論文 参考訳（メタデータ） (2020-02-07T18:34:31Z) - Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。
われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。
CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文 参考訳（メタデータ） (2020-01-23T13:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。