Fugu-MT 論文翻訳(概要): Network Pruning via Annealing and Direct Sparsity Control

論文の概要: Network Pruning via Annealing and Direct Sparsity Control

arxiv url: http://arxiv.org/abs/2002.04301v3
Date: Mon, 27 Jul 2020 02:48:56 GMT
ステータス: 処理完了
システム内更新日: 2023-01-02 01:01:58.200071
Title: Network Pruning via Annealing and Direct Sparsity Control
Title（参考訳）: アニーリングと直接発散制御によるネットワークプルーニング
Authors: Yangzi Guo, Yiyuan She, Adrian Barbu
Abstract要約: 本稿では,非構造的および構造的チャネルレベルのプルーニングに適した,新しい効率的なネットワークプルーニング手法を提案する。提案手法は, 基準とスケジュールに基づいて, ネットワークパラメータやフィルタチャネルを徐々に除去することにより, 空間制約を緩和する。
参考スコア（独自算出の注目度）: 4.976007156860966
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Artificial neural networks (ANNs) especially deep convolutional networks are very popular these days and have been proved to successfully offer quite reliable solutions to many vision problems. However, the use of deep neural networks is widely impeded by their intensive computational and memory cost. In this paper, we propose a novel efficient network pruning method that is suitable for both non-structured and structured channel-level pruning. Our proposed method tightens a sparsity constraint by gradually removing network parameters or filter channels based on a criterion and a schedule. The attractive fact that the network size keeps dropping throughout the iterations makes it suitable for the pruning of any untrained or pre-trained network. Because our method uses a $L_0$ constraint instead of the $L_1$ penalty, it does not introduce any bias in the training parameters or filter channels. Furthermore, the $L_0$ constraint makes it easy to directly specify the desired sparsity level during the network pruning process. Finally, experimental validation on extensive synthetic and real vision datasets show that the proposed method obtains better or competitive performance compared to other states of art network pruning methods.
Abstract（参考訳）: 人工ニューラルネットワーク(anns)、特に深層畳み込みネットワークは近年非常に人気があり、多くの視覚問題に対して非常に信頼できるソリューションを提供することが証明されている。しかし、ディープニューラルネットワークの使用は、計算コストとメモリコストの集中によって、広く妨げられている。本稿では,非構造的かつ構造的チャネルレベルのプルーニングに適した効率的なネットワークプルーニング手法を提案する。提案手法は, 基準とスケジュールに基づいて, ネットワークパラメータやフィルタチャネルを徐々に除去することにより, 空間制約を緩和する。ネットワークサイズがイテレーションを通じて減少し続けるという魅力的な事実は、トレーニングされていない、あるいはトレーニング済みのネットワークのプルーニングに適している。我々のメソッドは$L_1$ペナルティの代わりに$L_0$制約を使用するため、トレーニングパラメータやフィルタチャネルにバイアスは発生しない。さらに、$L_0$制約により、ネットワークプルーニングプロセス中の所望の空間レベルを直接指定しやすくなる。最後に, 大規模合成データと実ビジョンデータを用いた実験による検証により, 提案手法は, アートネットワークの刈り取り法と比較して, 優れた性能あるいは競合性が得られた。

関連論文リスト

Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [3.2214522506924093]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
論文参考訳（メタデータ） (2023-02-17T09:37:17Z)
The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文参考訳（メタデータ） (2022-02-05T21:19:41Z)
On the Compression of Neural Networks Using $\ell_0$-Norm Regularization and Weight Pruning [0.9821874476902968]
本稿では,ニューラルネットワークのための新しい圧縮スキームの開発に焦点をあてる。トレーニング中にネットワークに強いスパース性を誘導できる新たな正規化方式が最初に開発された。提案手法では、オーバーフィッティングを回避するために$ell$-norm正規化と、プルーンドネットワークの性能向上のための微調整も含む。
論文参考訳（メタデータ） (2021-09-10T19:19:42Z)
FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文参考訳（メタデータ） (2021-06-28T10:48:20Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)
Greedy Optimization Provably Wins the Lottery: Logarithmic Number of Winning Tickets is Enough [19.19644194006565]
精度低下の許容範囲が指定されたニューラルネットワークのプルーク数を示す。提案手法は,プルーンドネットワークと元のネットワークとの差が指数関数的に速い速度で減衰することを保証している。本研究では,ResNet や MobilenetV2/V3 など,様々なネットワークアーキテクチャを ImageNet 上で刈り取る手法を実証的に改良する。
論文参考訳（メタデータ） (2020-10-29T22:06:31Z)
ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文参考訳（メタデータ） (2020-06-28T23:09:27Z)
PruneNet: Channel Pruning via Global Importance [22.463154358632472]
本稿では,計算的に軽量で効率的なデータ駆動最適化ステップに基づいて,チャネルを刈り取る方法を提案する。 In non-uniform pruning on the layer on ResNet-$50$, we can be match the FLOP reduction of State-of-the-art channel pruning results。
論文参考訳（メタデータ） (2020-05-22T17:09:56Z)
Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2020-04-06T15:51:00Z)
Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文参考訳（メタデータ） (2020-02-23T17:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。