論文の概要: Class-Aware Pruning for Efficient Neural Networks
- arxiv url: http://arxiv.org/abs/2312.05875v2
- Date: Sun, 18 Feb 2024 16:53:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 04:07:22.207296
- Title: Class-Aware Pruning for Efficient Neural Networks
- Title（参考訳）: 効率的なニューラルネットワークのためのクラスアウェアプルーニング
- Authors: Mengnan Jiang, Jingcun Wang, Amro Eldebiky, Xunzhao Yin, Cheng Zhuo,
Ing-Chao Lin, Grace Li Zhang
- Abstract要約: ディープニューラルネットワーク(DNN)の実行における計算コスト削減のために、プルーニングが導入されている。
本稿では,DNNを圧縮するクラスアウェアプルーニング手法を提案する。
実験結果から, このクラス認識プルーニング技術は, 重量とFLOPを著しく削減できることがわかった。
- 参考スコア（独自算出の注目度）: 5.918784236241883
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural networks (DNNs) have demonstrated remarkable success in various
fields. However, the large number of floating-point operations (FLOPs) in DNNs
poses challenges for their deployment in resource-constrained applications,
e.g., edge devices. To address the problem, pruning has been introduced to
reduce the computational cost in executing DNNs. Previous pruning strategies
are based on weight values, gradient values and activation outputs. Different
from previous pruning solutions, in this paper, we propose a class-aware
pruning technique to compress DNNs, which provides a novel perspective to
reduce the computational cost of DNNs. In each iteration, the neural network
training is modified to facilitate the class-aware pruning. Afterwards, the
importance of filters with respect to the number of classes is evaluated. The
filters that are only important for a few number of classes are removed. The
neural network is then retrained to compensate for the incurred accuracy loss.
The pruning iterations end until no filter can be removed anymore, indicating
that the remaining filters are very important for many classes. This pruning
technique outperforms previous pruning solutions in terms of accuracy, pruning
ratio and the reduction of FLOPs. Experimental results confirm that this
class-aware pruning technique can significantly reduce the number of weights
and FLOPs, while maintaining a high inference accuracy.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は様々な分野で顕著な成功を収めている。
しかし、DNNにおける多数の浮動小数点演算(FLOP)は、エッジデバイスのようなリソース制約のアプリケーションに展開する上での課題となっている。
この問題に対処するため、DNNの実行における計算コストを削減するためにプルーニングが導入された。
従来のプルーニング戦略は、重量値、勾配値、アクティベーション出力に基づいている。
本稿では,dnnを圧縮するクラスアウェアプルーニング手法を提案し,dnnの計算コストを削減するための新しい視点を提供する。
各イテレーションで、ニューラルネットワークのトレーニングが変更され、クラス認識の刈り込みが容易になる。
その後、クラス数に関するフィルタの重要性が評価される。
いくつかのクラスでのみ重要なフィルタは削除される。
ニューラルネットワークは、発生した精度の損失を補償するために再トレーニングされる。
プルーニングのイテレーションは、フィルタがなくなるまで終了し、残りのフィルタが多くのクラスにとって非常に重要であることを示す。
このプルーニング法は, 従来のプルーニング法よりも精度, プルーニング率, FLOPsの低減に優れていた。
実験の結果, このクラスアウェアプルーニング手法は, 高い推定精度を維持しつつ, 重みとフラップ数を大幅に削減できることがわかった。
関連論文リスト
- Early-Exit with Class Exclusion for Efficient Inference of Neural
Networks [4.180653524441411]
ディープニューラルネットワーク(DNN)における動的推論のためのクラスベース早期抽出法を提案する。
これらのレイヤで学んだ機能を活用して、可能な限り多くの無関係なクラスを除外します。
実験により、推論におけるDNNの計算コストを大幅に削減できることを示した。
論文 参考訳（メタデータ） (2023-09-23T18:12:27Z) - Neural Network Pruning for Real-time Polyp Segmentation [8.08470060885395]
ポリプセグメンテーションにおけるニューラルネットワークプルーニングの適用例を示す。
畳み込みフィルタの重要スコアを計算し、最小スコアを持つフィルタを除去する。
論文 参考訳（メタデータ） (2023-06-22T21:03:50Z) - Interspace Pruning: Using Adaptive Filter Representations to Improve
Training of Sparse CNNs [69.3939291118954]
非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している
標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。
既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
論文 参考訳（メタデータ） (2022-03-15T11:50:45Z) - Recursive Least Squares for Training and Pruning Convolutional Neural
Networks [27.089496826735672]
畳み込みニューラルネットワーク(CNN)は多くの実用化に成功している。
高い計算とストレージ要件により、リソース制約のあるデバイスへのデプロイが困難になる。
本稿では,CNNの訓練と刈り取りのための新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-01-13T07:14:08Z) - Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。
提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。
標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-10-16T11:57:38Z) - Understanding and Improving Early Stopping for Learning with Noisy
Labels [63.0730063791198]
ディープニューラルネットワーク(DNN)の記憶効果は、多くの最先端のラベルノイズ学習法において重要な役割を担っている。
現在の手法は一般的にDNN全体を考慮して早期停止点を決定する。
我々は、DNNを異なる部分に分割し、この問題に対処するよう徐々に訓練することを提案する。
論文 参考訳（メタデータ） (2021-06-30T07:18:00Z) - Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。
ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。
おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
論文 参考訳（メタデータ） (2021-06-19T02:09:25Z) - Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。
各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
論文 参考訳（メタデータ） (2020-09-17T09:23:36Z) - Robust Pruning at Initialization [61.30574156442608]
計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。
ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
論文 参考訳（メタデータ） (2020-02-19T17:09:50Z) - Filter Grafting for Deep Neural Networks [71.39169475500324]
ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト
我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。
例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
論文 参考訳（メタデータ） (2020-01-15T03:18:57Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。