論文の概要: Entropy Induced Pruning Framework for Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2208.06660v1
- Date: Sat, 13 Aug 2022 14:35:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 13:45:15.620425
- Title: Entropy Induced Pruning Framework for Convolutional Neural Networks
- Title（参考訳）: 畳み込みニューラルネットワークのためのエントロピー誘起プルーニングフレームワーク
- Authors: Yiheng Lu, Ziyu Guan, Yaming Yang, Maoguo Gong, Wei Zhao, Kaiyuan Feng
- Abstract要約: 本稿では,各フィルタの重要性を測定するために,平均フィルタ情報エントロピー (AFIE) という指標を提案する。
提案手法は,元のモデルが十分に訓練されているかどうかに関わらず,各フィルタの安定性を評価できる。
- 参考スコア（独自算出の注目度）: 30.89967076857665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured pruning techniques have achieved great compression performance on
convolutional neural networks for image classification task. However, the
majority of existing methods are weight-oriented, and their pruning results may
be unsatisfactory when the original model is trained poorly. That is, a
fully-trained model is required to provide useful weight information. This may
be time-consuming, and the pruning results are sensitive to the updating
process of model parameters. In this paper, we propose a metric named Average
Filter Information Entropy (AFIE) to measure the importance of each filter. It
is calculated by three major steps, i.e., low-rank decomposition of the
"input-output" matrix of each convolutional layer, normalization of the
obtained eigenvalues, and calculation of filter importance based on information
entropy. By leveraging the proposed AFIE, the proposed framework is able to
yield a stable importance evaluation of each filter no matter whether the
original model is trained fully. We implement our AFIE based on AlexNet,
VGG-16, and ResNet-50, and test them on MNIST, CIFAR-10, and ImageNet,
respectively. The experimental results are encouraging. We surprisingly observe
that for our methods, even when the original model is only trained with one
epoch, the importance evaluation of each filter keeps identical to the results
when the model is fully-trained. This indicates that the proposed pruning
strategy can perform effectively at the beginning stage of the training process
for the original model.
- Abstract（参考訳）: 画像分類タスクのための畳み込みニューラルネットワークにおいて、構造化プルーニング技術は大きな圧縮性能を達成した。
しかし、既存の手法の大部分は重量指向であり、元のモデルが不十分なトレーニングを受けた場合、その刈り取りの結果は満足できないかもしれない。
すなわち、有用な重量情報を提供するために、完全に訓練されたモデルが必要である。
これは時間を要する可能性があり、プラニング結果はモデルパラメータの更新プロセスに敏感である。
本稿では,各フィルタの重要性を測定するために,平均フィルタ情報エントロピー (AFIE) というメトリクスを提案する。
これは、各畳み込み層の「入出力」行列の低ランク分解、得られた固有値の正規化、情報エントロピーに基づくフィルタ重要性の計算という3つの主要なステップによって計算される。
提案したAFIEを利用することで,提案フレームワークは,元のモデルが十分に訓練されているかどうかに関わらず,各フィルタの安定的な重要度評価を行うことができる。
我々はAlexNet、VGG-16、ResNet-50に基づいてAFIEを実装し、それぞれMNIST、CIFAR-10、ImageNetでテストする。
実験結果は励まされている。
我々は,本手法において,原モデルが1つのエポックでのみ訓練された場合でも,各フィルタの重要度は,モデルが完全に訓練された結果と同一であることを示した。
このことは,本モデルにおける学習プロセスの開始段階でのプルーニング戦略が効果的に機能することを示す。
関連論文リスト
- Learning effective pruning at initialization from iterative pruning [15.842658282636876]
本稿では、トレーニングコストを削減するために、エンドツーエンドのニューラルネットワークに基づくPaI手法を提案する。
提案手法は, 既存手法よりも高スパース性設定で優れる。
ニューラルネットワークを用いた最初のPaI手法として、このアプローチに影響を与える要因を検証するために広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-27T03:17:52Z) - Unsupervised textile defect detection using convolutional neural
networks [0.0]
教師なし繊維異常検出のためのモチーフに基づく新しい手法を提案する。
従来の畳み込みニューラルネットワークの利点と教師なし学習パラダイムの利点を組み合わせる。
パターンファブリクスベンチマークデータセットに対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2023-11-30T22:08:06Z) - Filter Pruning for Efficient CNNs via Knowledge-driven Differential
Filter Sampler [103.97487121678276]
フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。
本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
論文 参考訳（メタデータ） (2023-07-01T02:28:41Z) - Boosting Low-Data Instance Segmentation by Unsupervised Pre-training
with Saliency Prompt [103.58323875748427]
この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。
近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。
実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
論文 参考訳（メタデータ） (2023-02-02T15:49:03Z) - Impact of PolSAR pre-processing and balancing methods on complex-valued
neural networks segmentation tasks [9.6556424340252]
複素値ニューラルネットワーク(CVNN)を用いたポラリメトリック合成開口レーダ(PolSAR)のセマンティックセグメンテーションについて検討する。
6つのモデルアーキテクチャ,3つの複素値,それぞれの実等価モデルについて,両手法を徹底的に比較する。
本稿では、このギャップを減らし、全ての入力表現、モデル、データセット前処理の結果を実行するための2つの方法を提案する。
論文 参考訳（メタデータ） (2022-10-28T12:49:43Z) - SBPF: Sensitiveness Based Pruning Framework For Convolutional Neural
Network On Image Classification [23.271501988351268]
画像分類において、畳み込みニューラルネットワーク(CNN)を圧縮するためにプルーニング技術が使用される。
推定精度の観点から各層の重要性を評価するための感度に基づく手法を提案する。
論文 参考訳（メタデータ） (2022-08-09T08:05:19Z) - Adaptive Convolutional Dictionary Network for CT Metal Artifact
Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。
我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。
本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文 参考訳（メタデータ） (2022-05-16T06:49:36Z) - Batch Normalization Tells You Which Filter is Important [49.903610684578716]
我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。
CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2021-12-02T12:04:59Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。