論文の概要: Methods for Pruning Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2011.00241v2
- Date: Fri, 30 Jul 2021 16:36:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 04:20:46.695573
- Title: Methods for Pruning Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークのプルーニング方法
- Authors: Sunil Vadera and Salem Ameen
- Abstract要約: 本稿では,ディープニューラルネットワークのプルーニング手法について検討する。
基礎となるアプローチに基づいて150以上の研究を分類することから始まる。
スケールベースのプルーニングを使用するメソッド、冗長性を識別するクラスタリングを利用するメソッド、感度分析を使用するメソッドの3つのカテゴリに焦点を当てている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a survey of methods for pruning deep neural networks. It
begins by categorising over 150 studies based on the underlying approach used
and then focuses on three categories: methods that use magnitude based pruning,
methods that utilise clustering to identify redundancy, and methods that use
sensitivity analysis to assess the effect of pruning. Some of the key
influencing studies within these categories are presented to highlight the
underlying approaches and results achieved. Most studies present results which
are distributed in the literature as new architectures, algorithms and data
sets have developed with time, making comparison across different studied
difficult. The paper therefore provides a resource for the community that can
be used to quickly compare the results from many different methods on a variety
of data sets, and a range of architectures, including AlexNet, ResNet, DenseNet
and VGG. The resource is illustrated by comparing the results published for
pruning AlexNet and ResNet50 on ImageNet and ResNet56 and VGG16 on the CIFAR10
data to reveal which pruning methods work well in terms of retaining accuracy
whilst achieving good compression rates. The paper concludes by identifying
some promising directions for future research.
- Abstract（参考訳）: 本稿では,ディープニューラルネットワークのプルーニング手法に関する調査を行う。
まず、使用するアプローチに基づいて150以上の研究を分類し、次に、スケールベースのプルーニングを使用する方法、冗長性を識別するためにクラスタリングを利用する方法、そしてプルーニングの効果を評価するために感度分析を使用する方法の3つのカテゴリに焦点を当てる。
これらのカテゴリにおける重要な影響研究のいくつかは、その基礎となるアプローチと成果を強調するために提示されている。
多くの研究は、新しいアーキテクチャ、アルゴリズム、データセットが時間とともに発展し、異なる研究間での比較が困難になるにつれて、文献に分散した結果を提示している。
そこで本稿では,さまざまなデータセット上のさまざまなメソッドの結果と,AlexNet,ResNet,DenseNet,VGGなど,さまざまなアーキテクチャを短時間で比較することのできる,コミュニティのためのリソースを提供する。
このリソースは、ImageNetとResNet56でAlexNetとResNet50をプルーニングした結果と、CIFAR10データでVGG16を比較して、どのプルーニングメソッドが良い圧縮率を維持しながら、どのプルーニングメソッドがうまく動作するかを明らかにする。
この論文は、将来の研究に有望な方向を特定することで締めくくっている。
関連論文リスト
- Block Pruning for Enhanced Efficiency in Convolutional Neural Networks [7.110116320545541]
本稿では,エッジコンピューティング環境におけるディープニューラルネットワークにおけるブロックプルーニングを対象とする,ネットワークプルーニングに対する新しいアプローチを提案する。
提案手法は,プロキシメトリクスを利用する従来の手法とは異なっており,直接ブロック除去手法を用いて分類精度への影響を評価する。
論文 参考訳（メタデータ） (2023-12-28T08:54:48Z) - A Survey on Deep Neural Network Pruning-Taxonomy, Comparison, Analysis, and Recommendations [20.958265043544603]
現代のディープニューラルネットワークには、膨大な計算とストレージリソースを必要とする巨大なモデルサイズが伴っている。
研究者たちは、ニューラルネットワーク圧縮の一般的な研究方向として、プルーニングテクニックを探求している。
我々は,1)普遍的/特異的なスピードアップ,2)いつプーンするか,3)プーンする方法,および4)プルーニングと他の圧縮技術との融合について,ディープニューラルネットワークプルーニングに関する既存の研究成果をレビューする。
論文 参考訳（メタデータ） (2023-08-13T13:34:04Z) - Advancing 3D finger knuckle recognition via deep feature learning [51.871256510747465]
接触のない3Dフィンガーナックルパターンは、識別性、距離からの視認性、利便性、利便性により、効果的な生体認証として出現している。
近年、ディープニューラルネットワークの中間機能を複数のスケールで同時に組み込むディープ・フィーチャー・コラボレーティブ・ネットワークが開発されている。
本稿では,3次元指のナックル画像を表現するために,最小次元の識別特徴ベクトルを学習する可能性を検討することにより,本手法を推し進める。
論文 参考訳（メタデータ） (2023-01-07T20:55:16Z) - How to Train Your Neural Network: A Comparative Evaluation [1.3654846342364304]
大規模分散ディープラーニングのための最先端フレームワークについて論じ,比較する。
大規模画像と言語訓練における性能を比較した実験結果を示す。
この結果に基づいて,性能を阻害する各フレームワークのアルゴリズム的部分と実装的部分について議論する。
論文 参考訳（メタデータ） (2021-11-09T04:24:42Z) - CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。
我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
論文 参考訳（メタデータ） (2021-10-29T18:41:15Z) - Robust Pooling through the Data Mode [5.7564383437854625]
本稿では,新しいロバストなプール層を含む新しいディープラーニングソリューションを提案する。
提案するプール層では,クラスタがモデルを示すため,RANSACとヒストグラムという2つの手法を用いて,モデム/クラスタのデータを探す。
我々は、プーリング層をポイントベースやグラフベースニューラルネットワークなどのフレームワークでテストし、ロバスト・オブ・ザ・アーティカルな手法と比較して、ロバストなロバスト性を示した。
論文 参考訳（メタデータ） (2021-06-21T04:35:24Z) - A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。
得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
論文 参考訳（メタデータ） (2021-04-19T14:43:07Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Learning Robust Feature Representations for Scene Text Detection [0.0]
本稿では、条件付きログを最大化するために、損失から導かれるネットワークアーキテクチャを提案する。
潜伏変数の層を複数の層に拡張することで、ネットワークは大規模に堅牢な機能を学ぶことができる。
実験では,提案アルゴリズムはリコール法と精度の両面で最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2020-05-26T01:06:47Z) - Deep Learning for Community Detection: Progress, Challenges and
Opportunities [79.26787486888549]
この記事では、ディープニューラルネットワークにおける様々なフレームワーク、モデル、アルゴリズムの貢献について要約する。
この記事では、ディープニューラルネットワークにおける様々なフレームワーク、モデル、アルゴリズムの貢献について要約する。
論文 参考訳（メタデータ） (2020-05-17T11:22:11Z) - Attentive CutMix: An Enhanced Data Augmentation Approach for Deep
Learning Based Image Classification [58.20132466198622]
そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。
各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。
提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
論文 参考訳（メタデータ） (2020-03-29T15:01:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。