論文の概要: Pruning Compact ConvNets for Efficient Inference
- arxiv url: http://arxiv.org/abs/2301.04502v1
- Date: Wed, 11 Jan 2023 14:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 14:19:09.823029
- Title: Pruning Compact ConvNets for Efficient Inference
- Title（参考訳）: 効率的な推論のためのpruning compact convnet
- Authors: Sayan Ghosh, Karthik Prasad, Xiaoliang Dai, Peizhao Zhang, Bichen Wu,
Graham Cormode, Peter Vajda
- Abstract要約: NAS(Neural Architecture Search)によってトレーニングされたネットワークを最適化するために,モデルプルーニングアプローチが利用できることを示す。
得られたプルーンドモデルのファミリーは、同じ計算レベルで既存のFBNetV3モデルよりも一貫して優れた性能を得ることができる。
一般化性能の向上に加えて、限られた計算資源が利用できる場合、FBNetV3モデルはフルスケールのNASの実行に関わるGPU時間のごく一部しか発生しないことを示した。
- 参考スコア（独自算出の注目度）: 29.946386610434807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural network pruning is frequently used to compress over-parameterized
networks by large amounts, while incurring only marginal drops in
generalization performance. However, the impact of pruning on networks that
have been highly optimized for efficient inference has not received the same
level of attention. In this paper, we analyze the effect of pruning for
computer vision, and study state-of-the-art ConvNets, such as the FBNetV3
family of models. We show that model pruning approaches can be used to further
optimize networks trained through NAS (Neural Architecture Search). The
resulting family of pruned models can consistently obtain better performance
than existing FBNetV3 models at the same level of computation, and thus provide
state-of-the-art results when trading off between computational complexity and
generalization performance on the ImageNet benchmark. In addition to better
generalization performance, we also demonstrate that when limited computation
resources are available, pruning FBNetV3 models incur only a fraction of
GPU-hours involved in running a full-scale NAS.
- Abstract（参考訳）: ニューラルネットワークのプルーニングは、オーバーパラメータネットワークを大量に圧縮するために頻繁に使用され、一般化性能に限界的な低下しか発生しない。
しかし、効率的な推論のために高度に最適化されたネットワークに対するプルーニングの影響は、それほど注目されていない。
本稿では,コンピュータビジョンにおけるプルーニングの効果を分析し,fbnetv3ファミリーなどの最先端のコンブネットについて検討する。
nas(neural architecture search)によってトレーニングされたネットワークをさらに最適化するために,モデルプルーニングアプローチが利用できることを示す。
その結果,既存のFBNetV3モデルよりも高い性能が得られるようになり,画像Netベンチマークで計算複雑性と一般化性能のトレードオフを行う場合の最先端結果が得られる。
一般化性能の向上に加えて、限られた計算資源が利用できる場合、FBNetV3モデルはフルスケールNASの実行に関わるGPU時間のごく一部しか発生しないことを示した。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳（メタデータ） (2023-08-30T10:57:41Z) - A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳（メタデータ） (2023-08-28T14:19:13Z) - Lightweight and Progressively-Scalable Networks for Semantic
Segmentation [100.63114424262234]
マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。
本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。
我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
論文 参考訳（メタデータ） (2022-07-27T16:00:28Z) - Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to
Infer Hardware Performances [58.720142291102135]
VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。
これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-05-09T22:48:39Z) - Bottleneck Transformers for Visual Recognition [97.16013761605254]
視覚タスクに自己注意を組み込んだ強力なバックボーンアーキテクチャであるBoTNetを提案する。
我々は、ImageNetベンチマークにおいて84.7%のトップ1の精度で高いパフォーマンスを達成するモデルを提案する。
私たちのシンプルで効果的なアプローチが、将来のビジョンのための自己注意モデル研究の強力なベースラインになることを期待しています。
論文 参考訳（メタデータ） (2021-01-27T18:55:27Z) - Toward Accurate Platform-Aware Performance Modeling for Deep Neural
Networks [0.17499351967216337]
機械学習に基づくPerfNetV2は、さまざまなGPUアクセラレータ上でのニューラルネットワークのパフォーマンスをモデル化するための、これまでの作業の精度を向上させる。
アプリケーションを利用すると、アプリケーションで使用される畳み込みニューラルネットワークの推論時間とトレーニング時間を予測することができる。
我々のケーススタディでは、PerfNetV2が13.1%のLeNet、AlexNet、VGG16、NVIDIA GTX-1080Tiで平均絶対パーセンテージエラーを発生し、ICBD 2018で発表された以前の研究のエラー率は200%に達する可能性がある。
論文 参考訳（メタデータ） (2020-12-01T01:42:23Z) - Pruning Convolutional Filters using Batch Bridgeout [14.677724755838556]
最先端のコンピュータビジョンモデルでは、トレーニングセットに適合するために必要なパラメータ数がはるかに多いため、能力が急速に向上している。
これにより最適化と一般化性能が向上する。
推論コストを削減するために、トレーニングされたニューラルネットワークの畳み込みフィルタを切断することで、推論中の実行時のメモリと計算要求を削減できる。
本稿では,ニューラルネットワークの性能低下を最小限に抑え,効率よく刈り取ることができるようにトレーニングするために,スパシティ誘導正規化スキームであるBatch Bridgeoutを提案する。
論文 参考訳（メタデータ） (2020-09-23T01:51:47Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - Quantisation and Pruning for Neural Network Compression and
Regularisation [2.320417845168326]
ディープニューラルネットワークは計算コストが大きすぎて、コンシューマグレードのハードウェアや低消費電力のデバイス上でリアルタイムで動作できない。
ニューラルネットワークの計算とメモリ要件の低減を,ネットワークプルーニングと量子化によって検討する。
論文 参考訳（メタデータ） (2020-01-14T15:22:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。