論文の概要: Gator: Customizable Channel Pruning of Neural Networks with Gating
- arxiv url: http://arxiv.org/abs/2205.15404v2
- Date: Wed, 1 Jun 2022 08:42:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-04 09:55:46.093085
- Title: Gator: Customizable Channel Pruning of Neural Networks with Gating
- Title（参考訳）: Gator: ゲーティングによるニューラルネットワークのカスタマイズ可能なチャネルプルーニング
- Authors: Eli Passov, Eli David, and Nathan S. Netanyahu
- Abstract要約: 本稿では,個別チャネルのプルーニングのための学習ゲーティング機構を一時的に追加するチャネルプルーニング手法であるGatorを提案する。
ゲーターは、50%のFLOPを0.4%の精度で削減するなど、最先端のSOTA(State-of-the-art)結果を生成する。
また、Gatorは従来のプルーニングモデルよりも1.4倍高速に実行することで、GPUレイテンシでパフォーマンスを向上している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rise of neural network (NN) applications has prompted an increased
interest in compression, with a particular focus on channel pruning, which does
not require any additional hardware. Most pruning methods employ either
single-layer operations or global schemes to determine which channels to remove
followed by fine-tuning of the network. In this paper we present Gator, a
channel-pruning method which temporarily adds learned gating mechanisms for
pruning of individual channels, and which is trained with an additional
auxiliary loss, aimed at reducing the computational cost due to memory,
(theoretical) speedup (in terms of FLOPs), and practical, hardware-specific
speedup. Gator introduces a new formulation of dependencies between NN layers
which, in contrast to most previous methods, enables pruning of non-sequential
parts, such as layers on ResNet's highway, and even removing entire ResNet
blocks. Gator's pruning for ResNet-50 trained on ImageNet produces
state-of-the-art (SOTA) results, such as 50% FLOPs reduction with only
0.4%-drop in top-5 accuracy. Also, Gator outperforms previous pruning models,
in terms of GPU latency by running 1.4 times faster. Furthermore, Gator
achieves improved top-5 accuracy results, compared to MobileNetV2 and
SqueezeNet, for similar runtimes. The source code of this work is available at:
https://github.com/EliPassov/gator.
- Abstract（参考訳）: ニューラルネットワーク(NN)アプリケーションの台頭により、圧縮への関心が高まり、特に追加のハードウェアを必要としないチャネルプルーニングに焦点が当てられている。
ほとんどのプルーニング手法では、ネットワークを微調整して除去するチャネルを決定するために、単一層操作またはグローバルスキームを使用する。
本稿では,個別チャネルのプルーニングのための学習ゲーティング機構を一時的に追加し,メモリによる計算コストの削減,(理論的な)スピードアップ(FLOP),実用的,ハードウェア固有のスピードアップを目的とした補助的損失のトレーニングを行うチャネルプルーニング手法であるGatorを提案する。
Gatorは、NN層間の依存関係の新たな定式化を導入し、ほとんどの従来の方法とは対照的に、ResNetのハイウェイ上のレイヤやResNetブロック全体の削除など、シークエンシャルでない部分のプルーニングを可能にする。
ImageNetでトレーニングされたResNet-50に対するゲーターのプルーニングは、50%のFLOPを0.4%の精度で削減するなど、最先端(SOTA)の結果を生成する。
また、gatorは1.4倍の高速化でgpuレイテンシの点で、以前のpruningモデルよりも優れている。
さらに、同様のランタイムでは、MobileNetV2やSqueezeNetと比較して、トップ5の精度が向上している。
この作業のソースコードは、https://github.com/elipassov/gator.com/で入手できる。
関連論文リスト
- Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - Slimmable Pruned Neural Networks [1.8275108630751844]
S-Net上の各サブネットワークの精度は、同一サイズの個別訓練ネットワークよりも劣る。
プリミングによって学習されたサブネットワーク構造を有するSlimmable Pruned Neural Networks (SP-Net)を提案する。
SP-Netは任意の種類のチャネルプルーニング手法と組み合わせることができ、NASモデルのような複雑な処理や時間を要するアーキテクチャ検索は不要である。
論文 参考訳（メタデータ） (2022-12-07T02:54:15Z) - Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。
VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。
提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
論文 参考訳（メタデータ） (2022-11-14T06:48:33Z) - EAPruning: Evolutionary Pruning for Vision Transformers and CNNs [11.994217333212736]
我々は、視覚変換器と畳み込みニューラルネットワークの両方に容易に適用可能な、シンプルで効果的なアプローチを採っている。
ResNet50とMobileNetV1の50%のFLOPS削減を実現し,それぞれ1.37倍,1.34倍の高速化を実現した。
論文 参考訳（メタデータ） (2022-10-01T03:38:56Z) - Adder Neural Networks [75.54239599016535]
我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。
AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。
提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
論文 参考訳（メタデータ） (2021-05-29T04:02:51Z) - BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch
Whitening [63.081808698068365]
本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。
以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。
本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
論文 参考訳（メタデータ） (2021-05-13T17:00:05Z) - Network Automatic Pruning: Start NAP and Take a Nap [94.14675930881366]
我々は,粒度および構造化プルーニングのための統一かつ自動プルーニングフレームワークであるNAPを提案する。
ネットワークの重要でないコンポーネントを見つけ出し、異なるレイヤに対する適切な圧縮比を自動的に決定する。
使いやすさにもかかわらず、NAPは以前のプルーニング法よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2021-01-17T07:09:19Z) - Layer Pruning via Fusible Residual Convolutional Block for Deep Neural
Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。
残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。
本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文 参考訳（メタデータ） (2020-11-29T12:51:16Z) - UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks
Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。
それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。
CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文 参考訳（メタデータ） (2020-10-03T01:51:06Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。
本稿では,AdderNets のバックプロパゲーション手法を提案する。
その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文 参考訳（メタデータ） (2019-12-31T06:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。