論文の概要: Neural Network Pruning Through Constrained Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2110.08558v1
- Date: Sat, 16 Oct 2021 11:57:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-21 12:41:43.261476
- Title: Neural Network Pruning Through Constrained Reinforcement Learning
- Title（参考訳）: 制約付き強化学習によるニューラルネットワークのプルーニング
- Authors: Shehryar Malik, Muhammad Umair Haider, Omer Iqbal, Murtaza Taj
- Abstract要約: 本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。
提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。
標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
- 参考スコア（独自算出の注目度）: 3.2880869992413246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Network pruning reduces the size of neural networks by removing (pruning)
neurons such that the performance drop is minimal. Traditional pruning
approaches focus on designing metrics to quantify the usefulness of a neuron
which is often quite tedious and sub-optimal. More recent approaches have
instead focused on training auxiliary networks to automatically learn how
useful each neuron is however, they often do not take computational limitations
into account. In this work, we propose a general methodology for pruning neural
networks. Our proposed methodology can prune neural networks to respect
pre-defined computational budgets on arbitrary, possibly non-differentiable,
functions. Furthermore, we only assume the ability to be able to evaluate these
functions for different inputs, and hence they do not need to be fully
specified beforehand. We achieve this by proposing a novel pruning strategy via
constrained reinforcement learning algorithms. We prove the effectiveness of
our approach via comparison with state-of-the-art methods on standard image
classification datasets. Specifically, we reduce 83-92.90 of total parameters
on various variants of VGG while achieving comparable or better performance
than that of original networks. We also achieved 75.09 reduction in parameters
on ResNet18 without incurring any loss in accuracy.
- Abstract（参考訳）: ネットワークプルーニングは、性能低下が最小となるように(プルーニング)ニューロンを取り除くことにより、ニューラルネットワークのサイズを減らす。
伝統的なプルーニングアプローチは、しばしば退屈で準最適であるニューロンの有用性を定量化するためにメトリクスを設計することに焦点を当てている。
近年のアプローチでは、個々のニューロンがどれだけ有用かを自動的に学習するために補助ネットワークを訓練することに重点を置いている。
本研究では,ニューラルネットワークをプルーニングするための汎用手法を提案する。
提案手法は,任意の非微分可能関数に対して,事前定義された計算予算を尊重するためにニューラルネットワークをpruneすることができる。
さらに、これらの関数を異なる入力に対して評価できる能力のみを仮定するので、事前に完全に指定する必要はない。
そこで我々は,制約付き強化学習アルゴリズムによる新しい刈り取り戦略を提案する。
標準画像分類データセットにおける最先端手法との比較により,本手法の有効性を実証する。
具体的には、vggの様々なバリエーションにおける総パラメータの83-92.90を削減し、元のネットワークと同等または優れた性能を達成する。
また、ResNet18上で75.09のパラメータの削減を実現しました。
関連論文リスト
- RelChaNet: Neural Network Feature Selection using Relative Change Scores [0.0]
本稿では、ニューラルネットワークの入力層にニューロンのプルーニングと再成長を利用する、新しくて軽量な特徴選択アルゴリズムであるRelChaNetを紹介する。
我々の手法は一般に現在の最先端手法よりも優れており、特にMNISTデータセットの平均精度を2%向上させる。
論文 参考訳（メタデータ） (2024-10-03T09:56:39Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Theoretical Characterization of How Neural Network Pruning Affects its
Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。
プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。
より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文 参考訳（メタデータ） (2023-01-01T03:10:45Z) - Neuron-based Pruning of Deep Neural Networks with Better Generalization
using Kronecker Factored Curvature Approximation [18.224344440110862]
提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。
以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。
この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
論文 参考訳（メタデータ） (2021-11-16T15:55:59Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
重要でない接続を非活性化する簡易な重要スコア計量を提案する。
MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。
このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
論文 参考訳（メタデータ） (2021-09-22T15:33:49Z) - RicciNets: Curvature-guided Pruning of High-performance Neural Networks
Using Ricci Flow [0.0]
計算グラフをニューラルネットワークにマッピングする前に、Ricci曲率の定義を用いて、重要度の低いエッジを除去する。
1パスあたりの浮動小数点演算数(FLOP)が約35%削減されるが、性能は低下しない。
論文 参考訳（メタデータ） (2020-07-08T15:56:02Z) - A Framework for Neural Network Pruning Using Gibbs Distributions [34.0576955010317]
Gibbs pruningは、ニューラルネットワークのプルーニングメソッドを表現および設計するための新しいフレームワークである。
学習したウェイトとプルーニングマスクが互いに順応するように、同時にネットワークを訓練し訓練することができる。
我々は、CIFAR-10データセットでResNet-56を刈り取るための、最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2020-06-08T23:04:53Z) - Robust Pruning at Initialization [61.30574156442608]
計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。
ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
論文 参考訳（メタデータ） (2020-02-19T17:09:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。