論文の概要: High-dimensional Bayesian Optimization for CNN Auto Pruning with
Clustering and Rollback
- arxiv url: http://arxiv.org/abs/2109.10591v1
- Date: Wed, 22 Sep 2021 08:39:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-23 13:56:31.432116
- Title: High-dimensional Bayesian Optimization for CNN Auto Pruning with
Clustering and Rollback
- Title（参考訳）: クラスタリングとロールバックによるCNNオートプルーニングの高次元ベイズ最適化
- Authors: Jiandong Mu, Hanwei Fan, Wei Zhang
- Abstract要約: プルーニングは、精度とモデルサイズの間の良好なトレードオフを達成するために、畳み込みニューラルネットワーク(CNN)モデルをスリム化するために広く使用されている。
本研究では,高次元設計空間におけるオートプルーニングの高速化を目的とした拡張BOエージェントを提案する。
我々は,提案手法をResNet,MobileNet,VGGモデルで検証し,提案手法が極めて深いCNNモデルにおいてBOの精度を大幅に向上することを示す。
- 参考スコア（独自算出の注目度）: 4.479322015267904
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Pruning has been widely used to slim convolutional neural network (CNN)
models to achieve a good trade-off between accuracy and model size so that the
pruned models become feasible for power-constrained devices such as mobile
phones. This process can be automated to avoid the expensive hand-crafted
efforts and to explore a large pruning space automatically so that the
high-performance pruning policy can be achieved efficiently. Nowadays,
reinforcement learning (RL) and Bayesian optimization (BO)-based auto pruners
are widely used due to their solid theoretical foundation, universality, and
high compressing quality. However, the RL agent suffers from long training
times and high variance of results, while the BO agent is time-consuming for
high-dimensional design spaces. In this work, we propose an enhanced BO agent
to obtain significant acceleration for auto pruning in high-dimensional design
spaces. To achieve this, a novel clustering algorithm is proposed to reduce the
dimension of the design space to speedup the searching process. Then, a
roll-back algorithm is proposed to recover the high-dimensional design space so
that higher pruning accuracy can be obtained. We validate our proposed method
on ResNet, MobileNet, and VGG models, and our experiments show that the
proposed method significantly improves the accuracy of BO when pruning very
deep CNN models. Moreover, our method achieves lower variance and shorter time
than the RL-based counterpart.
- Abstract（参考訳）: プルーニングは畳み込みニューラルネットワーク(CNN)モデルをスリム化し、精度とモデルサイズとの良好なトレードオフを達成するために広く用いられており、携帯電話などの電力制約のあるデバイスでは、プルーニングモデルが実現可能である。
このプロセスは、高価な手作り作業を避けるために自動化され、高性能な刈り取りポリシーを効率的に実現できるように、大きな刈り取り空間を自動的に探索することができる。
今日では、強化学習(RL)とベイズ最適化(BO)に基づくオートプルーナーが、理論的基盤、普遍性、高い圧縮品質のために広く利用されている。
しかし、RLエージェントは長時間のトレーニング時間と結果のばらつきに悩まされ、BOエージェントは高次元設計空間に時間を要する。
本研究では,高次元設計空間におけるオートプルーニングの高速化を目的とした拡張BOエージェントを提案する。
これを実現するために,設計空間の次元を小さくし,探索プロセスを高速化する新しいクラスタリングアルゴリズムを提案する。
そして,高次元設計空間を復元し,高いプルーニング精度が得られるようにロールバックアルゴリズムを提案する。
我々は,提案手法をResNet,MobileNet,VGGモデルで検証し,提案手法が極めて深いCNNモデルにおいてBOの精度を大幅に向上することを示す。
さらに,本手法はRL法よりも低分散時間,短時間を実現する。
関連論文リスト
- Accelerating Deep Neural Networks via Semi-Structured Activation
Sparsity [0.0]
ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。
そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。
当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
論文 参考訳（メタデータ） (2023-09-12T22:28:53Z) - Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。
これにより、ディープニューラルネットワークの効率が著しく向上する。
論文 参考訳（メタデータ） (2023-08-12T00:16:51Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-22T23:53:14Z) - DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
形状最適化に適した不確実性に基づく新しい手法を提案する。
効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
論文 参考訳（メタデータ） (2021-09-28T11:01:42Z) - Fusion-Catalyzed Pruning for Optimizing Deep Learning on Intelligent
Edge Devices [9.313154178072049]
本稿では,ニューラルネットワークの高速化を目的とした,FuPrunerと呼ばれる新しい核融合パラメトリックプルーニング手法を提案する。
モデルに等価に変換するアグレッシブ・フュージョン法を導入し、プルーニングの最適化空間を拡張した。
FuPrunerは、フュージョンとプルーニングを制御する最適化オプションを提供する。
論文 参考訳（メタデータ） (2020-10-30T10:10:08Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration
Framework [56.57225686288006]
モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。
従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。
プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-13T23:52:03Z) - Toward fast and accurate human pose estimation via soft-gated skip
connections [97.06882200076096]
本稿では,高精度かつ高効率な人間のポーズ推定について述べる。
我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。
本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
論文 参考訳（メタデータ） (2020-02-25T18:51:51Z) - An Image Enhancing Pattern-based Sparsity for Real-time Inference on
Mobile Devices [58.62801151916888]
パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。
新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
論文 参考訳（メタデータ） (2020-01-20T16:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。