論文の概要: A Feature-map Discriminant Perspective for Pruning Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2005.13796v1
- Date: Thu, 28 May 2020 06:25:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-27 04:25:56.639813
- Title: A Feature-map Discriminant Perspective for Pruning Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークのプルーニングのための特徴マップ判別視点
- Authors: Zejiang Hou and Sun-Yuan Kung
- Abstract要約: 本稿では,特徴マップの識別性を高精度かつ効率的に定量化するための新しい数学的定式化を提案する。
本研究では、DIの理論的性質、特に非減少特性を分析し、DIを有効な選択基準とする。
そこで本稿では,DIに基づくグリーディープルーニングアルゴリズムと構造蒸留技術を用いて,プルーニング構造を自動的に決定する手法を提案する。
- 参考スコア（独自算出の注目度）: 24.062226363823257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Network pruning has become the de facto tool to accelerate deep neural
networks for mobile and edge applications. Recently, feature-map discriminant
based channel pruning has shown promising results, as it aligns well with the
CNN objective of differentiating multiple classes and offers better
interpretability of the pruning decision. However, existing discriminant-based
methods are challenged by computation inefficiency, as there is a lack of
theoretical guidance on quantifying the feature-map discriminant power. In this
paper, we present a new mathematical formulation to accurately and efficiently
quantify the feature-map discriminativeness, which gives rise to a novel
criterion,Discriminant Information(DI). We analyze the theoretical property of
DI, specifically the non-decreasing property, that makes DI a valid selection
criterion. DI-based pruning removes channels with minimum influence to DI
value, as they contain little information regarding to the discriminant power.
The versatility of DI criterion also enables an intra-layer mixed precision
quantization to further compress the network. Moreover, we propose a DI-based
greedy pruning algorithm and structure distillation technique to automatically
decide the pruned structure that satisfies certain resource budget, which is a
common requirement in reality. Extensive experiments demonstratethe
effectiveness of our method: our pruned ResNet50 on ImageNet achieves 44% FLOPs
reduction without any Top-1 accuracy loss compared to unpruned model
- Abstract（参考訳）: ネットワークプルーニングは、モバイルおよびエッジアプリケーションのディープニューラルネットワークを加速するデファクトツールとなっている。
近年,複数のクラスを識別するcnnの目標に適合し,pruning決定の解釈性が向上するなど,特徴マップ判別に基づくチャネルpruningが有望な結果を示している。
しかし,特徴マップ識別能力の定量化に関する理論的ガイダンスが乏しいため,既存の判別法は計算不効率によって問題視されている。
本稿では,特徴マップの判別性を正確にかつ効率的に定量化するための新しい数学的定式化法を提案する。
本研究では,di の理論的性質,特に非破壊的性質を解析し,di を有効な選択基準とする。
DIベースのプルーニングは、識別力に関する情報をほとんど含まないため、DI値に対する最小の影響のチャネルを除去する。
di基準の汎用性により、層内混合精度量子化によりネットワークをさらに圧縮することができる。
さらに, 資源予算を充足できる構造を自動的に決定する手法として, diに基づくグリーディプルーニング法と構造蒸留法を提案する。
当社のPruned ResNet50 on ImageNetは,Top-1の精度損失を伴わずに44%のFLOP削減を実現しています。
関連論文リスト
- Differentiable Neural Networks with RePU Activation: with Applications to Score Estimation and Isotonic Regression [7.450181695527364]
整流パワーユニット(RePU)関数によって活性化される微分可能なニューラルネットワークの特性について検討する。
RePUを活性化したディープニューラルネットワークを用いて,スムーズな関数とその導関数を同時に近似するエラー境界を確立する。
論文 参考訳（メタデータ） (2023-05-01T00:09:48Z) - Binarizing Sparse Convolutional Networks for Efficient Point Cloud
Analysis [93.55896765176414]
我々は,効率的な点群解析のためのBSC-Netと呼ばれるバイナリスパース畳み込みネットワークを提案する。
我々は,移動したスパース畳み込みにおけるサイトマッチングに最適なオプションを見つけるために,異なる検索戦略を採用している。
我々のBSC-Netは、我々の厳格なベースラインを大幅に改善し、最先端のネットワーク双対化手法より優れています。
論文 参考訳（メタデータ） (2023-03-27T13:47:06Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Efficient Stein Variational Inference for Reliable Distribution-lossless
Network Pruning [23.22021752821507]
バニラPという新しい分布損失の無い刈り取り法を提案し,ベイズ処理における刈り取り抽選の理論的検討を行った。
本手法は,プルーニングモデルの信頼性を定量化しながら,高性能なスペーサーネットワークを実現する。
論文 参考訳（メタデータ） (2022-12-07T09:31:47Z) - SInGE: Sparsity via Integrated Gradients Estimation of Neuron Relevance [37.82255888371488]
本稿では,このニューロン除去への経路の勾配変化の積分として,各ニューロンの関連性を定義した新しい勾配解析基準を提案する。
提案手法は,いくつかのデータセットやアーキテクチャ,さらにはSInGEと呼ばれるプルーニングシナリオにおいて,既存の最先端のプルーニング手法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2022-07-08T18:27:42Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳（メタデータ） (2021-10-21T06:26:31Z) - Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。
提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。
標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-10-16T11:57:38Z) - AIP: Adversarial Iterative Pruning Based on Knowledge Transfer for
Convolutional Neural Networks [7.147985297123097]
畳み込みニューラルネットワーク(CNN)には、かなりの計算コストがかかる。
現在のプルーニング法ではCNNを少ない性能低下で圧縮することができるが、プルーニング比が大きくなると精度の低下がより深刻になる。
本稿では,知識伝達に基づくCNNのための新しい逆反復刈取法(AIP)を提案する。
論文 参考訳（メタデータ） (2021-08-31T02:38:36Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳（メタデータ） (2020-11-04T07:43:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。