論文の概要: AP: Selective Activation for De-sparsifying Pruned Neural Networks
- arxiv url: http://arxiv.org/abs/2212.06145v1
- Date: Fri, 9 Dec 2022 14:49:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 13:15:43.955387
- Title: AP: Selective Activation for De-sparsifying Pruned Neural Networks
- Title（参考訳）: AP: De-Sparsifying Pruned Neural Networksのための選択的活性化
- Authors: Shiyu Liu, Rohan Ghosh, Dylan Tan, Mehul Motani
- Abstract要約: 動的デッドニューロン速度 (DNR) という用語で定量化するReLUが導入した空間性は, 刈り取られたネットワークにとって有益ではない。
これにより,刈り取られたネットワークの動的DNRを明示的に低減する手法を提案する。
人気ネットワーク(例えばResNet, VGG)を2つの古典的および3つの最先端プルーニング手法を用いて広範な実験を行う。
- 参考スコア（独自算出の注目度）: 25.84452767219292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rectified linear unit (ReLU) is a highly successful activation function
in neural networks as it allows networks to easily obtain sparse
representations, which reduces overfitting in overparameterized networks.
However, in network pruning, we find that the sparsity introduced by ReLU,
which we quantify by a term called dynamic dead neuron rate (DNR), is not
beneficial for the pruned network. Interestingly, the more the network is
pruned, the smaller the dynamic DNR becomes during optimization. This motivates
us to propose a method to explicitly reduce the dynamic DNR for the pruned
network, i.e., de-sparsify the network. We refer to our method as
Activating-while-Pruning (AP). We note that AP does not function as a
stand-alone method, as it does not evaluate the importance of weights. Instead,
it works in tandem with existing pruning methods and aims to improve their
performance by selective activation of nodes to reduce the dynamic DNR. We
conduct extensive experiments using popular networks (e.g., ResNet, VGG) via
two classical and three state-of-the-art pruning methods. The experimental
results on public datasets (e.g., CIFAR-10/100) suggest that AP works well with
existing pruning methods and improves the performance by 3% - 4%. For larger
scale datasets (e.g., ImageNet) and state-of-the-art networks (e.g., vision
transformer), we observe an improvement of 2% - 3% with AP as opposed to
without. Lastly, we conduct an ablation study to examine the effectiveness of
the components comprising AP.
- Abstract（参考訳）: relu(recurtified linear unit)は、ニューラルネットワークにおいて非常に成功したアクティベーション機能であり、ネットワークがスパース表現を容易に得ることができる。
しかし, ネットワークプルーニングにおいては, 動的デッドニューロン速度 (DNR) という用語で定量化するReLUが導入した空間性は, ネットワークプルーニングにとって有益ではないことがわかった。
興味深いことに、ネットワークが切断されるほど、動的DNRが最適化中に小さくなる。
これにより,切断ネットワークの動的DNRを明示的に低減する手法,すなわちネットワークを分離する手法を提案する。
我々はこの手法を Activating-while-Pruning (AP) と呼ぶ。
重みの重要性を評価できないため,APはスタンドアローンの手法として機能しない。
代わりに、既存のプルーニング手法と連動して動作し、動的DNRを減らすためにノードの選択的アクティベーションによってパフォーマンスを向上させることを目指している。
人気ネットワーク(例えばResNet, VGG)を2つの古典的および3つの最先端プルーニング手法を用いて広範な実験を行う。
公開データセット(例えば、CIFAR-10/100)の実験結果は、APが既存のプルーニングメソッドとうまく機能し、パフォーマンスを3% - 4%改善することを示唆している。
大規模データセット(イメージネットなど)や最先端ネットワーク(ビジョントランスフォーマーなど)では、APが非対応であるのに対して、2% - 3%の改善が観察される。
最後に,AP成分の有効性を検討するためにアブレーション試験を行った。
関連論文リスト
- Differentiable Neural Networks with RePU Activation: with Applications to Score Estimation and Isotonic Regression [7.450181695527364]
整流パワーユニット(RePU)関数によって活性化される微分可能なニューラルネットワークの特性について検討する。
RePUを活性化したディープニューラルネットワークを用いて,スムーズな関数とその導関数を同時に近似するエラー境界を確立する。
論文 参考訳（メタデータ） (2023-05-01T00:09:48Z) - Trainability Preserving Neural Structured Pruning [64.65659982877891]
本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。
TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。
多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2022-07-25T21:15:47Z) - Edge Rewiring Goes Neural: Boosting Network Resilience via Policy
Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。
ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文 参考訳（メタデータ） (2021-10-18T06:14:28Z) - Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。
提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。
標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-10-16T11:57:38Z) - Connectivity Matters: Neural Network Pruning Through the Lens of
Effective Sparsity [0.0]
ニューラル・ネットワーク・プルーニング(Neural Network pruning)は、高空間性体制への関心が高まり、実りある研究分野である。
ランダムに刈り取られたLeNet-300-100の効率的な圧縮は、直接の圧縮よりも桁違いに大きいことを示す。
我々は, 直接的, 疎性ではなく, 効果的に目的を達成するために, プルーニングアルゴリズムを低コストで拡張する手法を開発した。
論文 参考訳（メタデータ） (2021-07-05T22:36:57Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Network Pruning via Resource Reallocation [75.85066435085595]
rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。
PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。
実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
論文 参考訳（メタデータ） (2021-03-02T16:28:10Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳（メタデータ） (2020-12-16T20:16:28Z) - HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。
提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。
トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
論文 参考訳（メタデータ） (2020-08-24T04:08:48Z) - Progressive Skeletonization: Trimming more fat from a network at
initialization [76.11947969140608]
本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。
次に、目的を最大化する2つの近似手順を提案する。
提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-06-16T11:32:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。