Fugu-MT 論文翻訳(概要): An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network

論文の概要: An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network

arxiv url: http://arxiv.org/abs/2112.08227v1
Date: Wed, 15 Dec 2021 16:02:15 GMT
ステータス: 処理完了
システム内更新日: 2021-12-16 15:56:48.232612
Title: An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network
Title（参考訳）: 畳み込みニューラルネットワークのプルーニングに及ぼす事前学習の影響に関する実験的研究
Authors: Nathan Hubens, Matei Mancas, Bernard Gosselin, Marius Preda, Titus Zaharia
Abstract要約: 近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In recent years, deep neural networks have known a wide success in various application domains. However, they require important computational and memory resources, which severely hinders their deployment, notably on mobile devices or for real-time applications. Neural networks usually involve a large number of parameters, which correspond to the weights of the network. Such parameters, obtained with the help of a training process, are determinant for the performance of the network. However, they are also highly redundant. The pruning methods notably attempt to reduce the size of the parameter set, by identifying and removing the irrelevant weights. In this paper, we examine the impact of the training strategy on the pruning efficiency. Two training modalities are considered and compared: (1) fine-tuned and (2) from scratch. The experimental results obtained on four datasets (CIFAR10, CIFAR100, SVHN and Caltech101) and for two different CNNs (VGG16 and MobileNet) demonstrate that a network that has been pre-trained on a large corpus (e.g. ImageNet) and then fine-tuned on a particular dataset can be pruned much more efficiently (up to 80% of parameter reduction) than the same network trained from scratch.
Abstract（参考訳）: 近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功を収めている。しかし、それらは重要な計算とメモリ資源を必要としており、特にモバイルデバイスやリアルタイムアプリケーションにおいて、その展開を著しく妨げている。ニューラルネットワークは通常、ネットワークの重みに対応する多くのパラメータを含む。このようなパラメータは、トレーニングプロセスの助けを借りて得られ、ネットワークの性能を決定する。しかし、それらは非常に冗長である。プルーニング法は、無関係な重みを識別して取り除き、パラメータ集合のサイズを減少させようとする。本稿では, 刈り取り効率に及ぼすトレーニング戦略の影響について検討する。 1)微調整と(2)スクラッチによる2つのトレーニングモードを考察し比較した。 4つのデータセット(CIFAR10、CIFAR100、SVHN、Caltech101)と2つの異なるCNN(VGG16、MobileNet)で得られた実験結果は、大きなコーパス(例えばImageNet)で事前トレーニングされたネットワークが、特定のデータセットで微調整されたネットワークを、スクラッチからトレーニングされた同じネットワークよりもはるかに効率的に(最大80%のパラメータ還元)切断できることを示した。

関連論文リスト

Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文参考訳（メタデータ） (2024-06-17T12:24:45Z)
Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文参考訳（メタデータ） (2024-02-06T15:34:44Z)
Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文参考訳（メタデータ） (2023-06-14T01:24:42Z)
WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning [0.0]
本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
論文参考訳（メタデータ） (2022-08-11T07:13:59Z)
Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
論文参考訳（メタデータ） (2021-10-16T11:57:38Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
論文参考訳（メタデータ） (2020-08-24T04:08:48Z)
Using UNet and PSPNet to explore the reusability principle of CNN parameters [5.623232537411766]
深層畳み込みニューラルネットワークの各層におけるパラメータの再利用性を実験的に定量化する。平均値と分散の実行は、BN層におけるWeightやBiasよりも重要な役割を担います。畳み込みレイヤのバイアスはセンシティブではなく、直接再利用することができる。
論文参考訳（メタデータ） (2020-08-08T01:51:08Z)
Adjoined Networks: A Training Paradigm with Applications to Network Compression [3.995047443480282]
本稿では、元のベースネットワークとより小さな圧縮ネットワークの両方を同時にトレーニングする学習パラダイムであるAdjoined Networks(AN)を紹介する。ベースネットワークとしてResNet-50を使用すると、画像Netデータセット上の1.8Mパラメータと1.6GFLOPで71.8%のトップ-1の精度が達成される。我々は,ニューラルネットワーク探索を用いて,より小さなネットワークの各レイヤの幅と重みを共同で学習し,ANを増強する訓練パラダイムであるDaniable Adjoined Networks (DAN)を提案する。
論文参考訳（メタデータ） (2020-06-10T02:48:16Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。