論文の概要: Hessian-Aware Pruning and Optimal Neural Implant
- arxiv url: http://arxiv.org/abs/2101.08940v2
- Date: Sat, 6 Feb 2021 21:11:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 17:25:50.091536
- Title: Hessian-Aware Pruning and Optimal Neural Implant
- Title(参考訳): Hessian-Aware Pruningと最適な神経インプラント
- Authors: Shixing Yu, Zhewei Yao, Amir Gholami, Zhen Dong, Michael W Mahoney,
Kurt Keutzer
- Abstract要約: プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。
構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
- 参考スコア(独自算出の注目度): 74.3282611517773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pruning is an effective method to reduce the memory footprint and FLOPs
associated with neural network models. However, existing structured-pruning
methods often result in significant accuracy degradation for moderate pruning
levels. To address this problem, we introduce a new Hessian Aware Pruning (HAP)
method coupled with a Neural Implant approach that uses second-order
sensitivity as a metric for structured pruning. The basic idea is to prune
insensitive components and to use a Neural Implant for moderately sensitive
components, instead of completely pruning them. For the latter approach, the
moderately sensitive components are replaced with with a low rank implant that
is smaller and less computationally expensive than the original component. We
use the relative Hessian trace to measure sensitivity, as opposed to the
magnitude based sensitivity metric commonly used in the literature. We test HAP
on multiple models on CIFAR-10/ImageNet, and we achieve new state-of-the-art
results. Specifically, HAP achieves 94.3\% accuracy ($<0.1\%$ degradation) on
PreResNet29 (CIFAR-10), with more than 70\% of parameters pruned. Moreover, for
ResNet50 HAP achieves 75.1\% top-1 accuracy (0.5\% degradation) on ImageNet,
after pruning more than half of the parameters. The framework has been open
sourced and available online.
- Abstract(参考訳): プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。
しかし、既存の構造的刈り取り法は、適度な刈り取りレベルの精度が著しく低下することが多い。
この問題に対処するために,2次感度を構造的プルーニングの指標として用いる神経インプラントアプローチと組み合わされた新しいヘッセン認識プルーニング(hap)法を提案する。
基本的なアイデアは、不感なコンポーネントを抜いて、神経インプラントを適度に敏感なコンポーネントとして使うことだ。
後者のアプローチでは、中程度の感度のコンポーネントは、元のコンポーネントよりも小さく、計算コストが低い低ランクのインプラントに置き換えられる。
文献でよく用いられる等級に基づく感度測定とは対照的に,相対的ヘッセントレースを用いて感度を測定する。
我々は,CIFAR-10/ImageNetで複数のモデル上でHAPをテストする。
具体的には、HAPはPreResNet29(CIFAR-10)上で94.3\%の精度(<0.1\%$分解)を達成する。
さらに、ResNet50 HAPは、パラメータの半分以上を刈った後、ImageNet上で75.1\%のトップ-1精度(0.5\%劣化)を達成する。
フレームワークはオープンソースで,オンラインで公開されている。
関連論文リスト
- DRIVE: Dual Gradient-Based Rapid Iterative Pruning [2.209921757303168]
現代のディープニューラルネットワーク(DNN)は、数百万のパラメータで構成され、トレーニングと推論中にハイパフォーマンスコンピューティングを必要とする。
学習後推論の合理化に焦点をあてた従来の刈り込み手法は, 訓練前の刈り込みによって早期に疎水性を活用する試みが近年行われている。
創発に固有のランダム性に対処するために,初期エポックに対する濃密なトレーニングを活用するDual Gradient-Based Rapid Iterative Pruning (DRIVE)を提案する。
論文 参考訳(メタデータ) (2024-04-01T20:44:28Z) - Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳(メタデータ) (2023-09-29T13:09:40Z) - Sr-init: An interpretable layer pruning method [11.184351630458265]
再初期化の探索による新しい層刈り法を提案する。
我々のSR-init法は、再初期化による精度低下が様々な層で異なるという発見に着想を得たものである。
特徴可視化によるSR-initの解釈可能性を実験的に検証した。
論文 参考訳(メタデータ) (2023-03-14T07:26:55Z) - WeightMom: Learning Sparse Networks using Iterative Momentum-based
pruning [0.0]
本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。
我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
論文 参考訳(メタデータ) (2022-08-11T07:13:59Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳(メタデータ) (2022-06-15T05:48:51Z) - Pruning with Compensation: Efficient Channel Pruning for Deep
Convolutional Neural Networks [0.9712140341805068]
刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。
本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
論文 参考訳(メタデータ) (2021-08-31T10:17:36Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳(メタデータ) (2021-06-18T01:03:13Z) - Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。
FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
論文 参考訳(メタデータ) (2021-03-19T15:33:16Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳(メタデータ) (2021-01-20T06:18:38Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳(メタデータ) (2020-12-16T20:16:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。