論文の概要: Post-training deep neural network pruning via layer-wise calibration

• arxiv url: http://arxiv.org/abs/2104.15023v1
• Date: Fri, 30 Apr 2021 14:20:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 16:48:11.000510
• Title: Post-training deep neural network pruning via layer-wise calibration
• Title（参考訳）: 層ワイドキャリブレーションによる後学習深層ニューラルネットワークプルーニング
• Authors: Ivan Lazarevich and Alexander Kozlov and Nikita Malinin
• Abstract要約: 本論文では,自動合成フラクタル画像に基づくコンピュータビジョンモデルに対するデータフリーな拡張を提案する。 実データを使用する場合は、トレーニング後の設定で65%の間隔で8ビットの精度でImageNet上のResNet50モデルを取得できます。
• 参考スコア（独自算出の注目度）: 70.65691136625514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a post-training weight pruning method for deep neural networks that achieves accuracy levels tolerable for the production setting and that is sufficiently fast to be run on commodity hardware such as desktop CPUs or edge devices. We propose a data-free extension of the approach for computer vision models based on automatically-generated synthetic fractal images. We obtain state-of-the-art results for data-free neural network pruning, with ~1.5% top@1 accuracy drop for a ResNet50 on ImageNet at 50% sparsity rate. When using real data, we are able to get a ResNet50 model on ImageNet with 65% sparsity rate in 8-bit precision in a post-training setting with a ~1% top@1 accuracy drop. We release the code as a part of the OpenVINO(TM) Post-Training Optimization tool.
• Abstract（参考訳）: 本稿では,実稼働環境では許容可能な精度レベルを実現し,デスクトップcpuやエッジデバイスなどのコモディティハードウェア上でも十分に高速に動作可能な,ディープニューラルネットワークのトレーニング後重みプルーニング手法を提案する。 本稿では,自動生成合成フラクタル画像に基づくコンピュータビジョンモデルへのアプローチを,データフリーで拡張する手法を提案する。 我々は、ImageNet上のResNet50で50%の間隔で、最大1.5%の精度で、データフリーニューラルネットワークプルーニングの最先端結果を得る。 実際のデータを使用する場合、imagenet上で65%のスパース率で8ビット精度のresnet50モデルを、1%のtop@1精度低下でトレーニング後設定で取得することができます。 OpenVINO(TM)ポストトレーニング最適化ツールの一部としてコードをリリースしています。

関連論文リスト

• AUTOSPARSE: Towards Automated Sparse Training of Deep Neural Networks [2.6742343015805083]
  本稿では,ニューラルネットワーク内に存在する空間の均一分布を探索するグラディエント・アナリング(GA)を提案する。 GAは、余剰を誘導する正規化を必要とせずに、余剰と正確性の間のエレガントなトレードオフを提供する。 GAと最新の学習可能なプルーニング手法を統合し、AutoSparseと呼ばれる自動スパーストレーニングアルゴリズムを作成する。
  論文  参考訳（メタデータ） (2023-04-14T06:19:07Z)
• LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification [36.651329027209634]
  LilNetXは、ニューラルネットワークのためのエンドツーエンドのトレーニング可能なテクニックである。 特定の精度-レート-計算トレードオフを持つ学習モデルを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T17:59:10Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classification [46.885260723836865]
  ディープ畳み込みニューラルネットワーク (Deep Convolutional Neural Network, CNN) は、高解像度画像で処理することで一般的に改善される。 画像中のすべての領域がタスク関連であるとは限らないという事実に着想を得て,効率的な画像分類を行う新しいフレームワークを提案する。 我々のフレームワークは、最先端の軽量CNNの多くと互換性があり、汎用的で柔軟です。
  論文  参考訳（メタデータ） (2020-10-11T17:55:06Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)
• TResNet: High Performance GPU-Dedicated Architecture [6.654949459658242]
  近年開発された多くのディープラーニングモデルは、FLOPS数が少なく、ResNet50よりもImageNetの精度が高い。 本稿では、GPUトレーニングと推論効率を維持しながら、ニューラルネットワークの精度を高めることを目的としたアーキテクチャ修正のシリーズを紹介する。 我々は、従来のConvNetよりも精度と効率を向上する、TResNetと呼ばれるGPU専用モデルの新しいファミリーを紹介する。
  論文  参考訳（メタデータ） (2020-03-30T17:04:47Z)
• Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
  完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。 我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。 すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
  論文  参考訳（メタデータ） (2020-03-25T17:54:38Z)
• Learning in the Frequency Domain [20.045740082113845]
  精度を損なわずに除去できる自明な周波数成分を同定する学習ベース周波数選択法を提案する。 実験の結果,静的チャネル選択を用いた周波数領域での学習は,従来の空間ダウンサンプリング手法よりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2020-02-27T19:57:55Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)
• AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
  我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。 本稿では,AdderNets のバックプロパゲーション手法を提案する。 その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
  論文  参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。