論文の概要: Efficient Joint Optimization of Layer-Adaptive Weight Pruning in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2308.10438v2
• Date: Thu, 24 Aug 2023 07:43:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 10:46:26.646823
• Title: Efficient Joint Optimization of Layer-Adaptive Weight Pruning in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおける層適応重みプルーニングの効率的統合最適化
• Authors: Kaixin Xu, Zhe Wang, Xue Geng, Jie Lin, Min Wu, Xiaoli Li, Weisi Lin
• Abstract要約: ディープニューラルネットワーク(DNN)のための新しい層適応型重み決定手法を提案する。 我々のアプローチは、レイヤ適応型プルーニングスキームを設計するためのすべてのレイヤの集団的影響を考慮に入れている。 我々の実験は、ImageNetとCIFAR-10データセット上の既存の手法よりも、我々のアプローチの方が優れていることを示す。
• 参考スコア（独自算出の注目度）: 48.089501687522954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a novel layer-adaptive weight-pruning approach for Deep Neural Networks (DNNs) that addresses the challenge of optimizing the output distortion minimization while adhering to a target pruning ratio constraint. Our approach takes into account the collective influence of all layers to design a layer-adaptive pruning scheme. We discover and utilize a very important additivity property of output distortion caused by pruning weights on multiple layers. This property enables us to formulate the pruning as a combinatorial optimization problem and efficiently solve it through dynamic programming. By decomposing the problem into sub-problems, we achieve linear time complexity, making our optimization algorithm fast and feasible to run on CPUs. Our extensive experiments demonstrate the superiority of our approach over existing methods on the ImageNet and CIFAR-10 datasets. On CIFAR-10, our method achieves remarkable improvements, outperforming others by up to 1.0% for ResNet-32, 0.5% for VGG-16, and 0.7% for DenseNet-121 in terms of top-1 accuracy. On ImageNet, we achieve up to 4.7% and 4.6% higher top-1 accuracy compared to other methods for VGG-16 and ResNet-50, respectively. These results highlight the effectiveness and practicality of our approach for enhancing DNN performance through layer-adaptive weight pruning. Code will be available on https://github.com/Akimoto-Cris/RD_VIT_PRUNE.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク(dnn)の層適応型重み追従手法を提案し,目標追従比制約に固執しながら出力歪み最小化を最適化する課題を解決する。 当社のアプローチでは,層適応型刈り取り方式の設計におけるすべてのレイヤの集団的影響を考慮に入れる。 複数の層に重みをまき散らすことによって生じる出力歪みの非常に重要な付加性を発見し,活用する。 この特性により、組合せ最適化問題としてプルーニングを定式化し、動的プログラミングにより効率よく解くことができる。 問題を部分問題に分解することで、線形時間複雑性を実現し、最適化アルゴリズムを高速かつcpu上で実行可能にする。 我々は,imagenet および cifar-10 データセットの既存手法に対するアプローチの優位性を示す実験を行った。 CIFAR-10では,ResNet-32では最大1.0%,VGG-16では0.5%,DenseNet-121では0.7%に向上した。 ImageNetでは、VGG-16とResNet-50の他の手法と比較して最大4.7%、トップ1の精度が4.6%向上した。 これらの結果はDNN性能向上のための手法の有効性と実用性を強調した。 コードはhttps://github.com/Akimoto-Cris/RD_VIT_PRUNEで入手できる。

関連論文リスト

• Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks [10.229120811024162]
  ディープニューラルネットワーク(DNN)は、エッジデバイスへのデプロイメントに重大な課題をもたらす。 この問題に対処する一般的なアプローチは、プルーニングと混合精度量子化である。 そこで本研究では,軽量な勾配探索を用いて共同で適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:07:02Z)
• Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
  トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。 VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。 提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
  論文  参考訳（メタデータ） (2022-11-14T06:48:33Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
  ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
  論文  参考訳（メタデータ） (2021-03-19T15:33:16Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
  HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。 各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
  論文  参考訳（メタデータ） (2020-09-17T09:23:36Z)
• EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning [82.54669314604097]
  EagleEyeは、適応型バッチ正規化に基づく、シンプルだが効率的な評価コンポーネントである。 異なる破砕された構造と最終的な精度の間に強い相関関係が明らかになる。 このモジュールは、既存のプルーニングアルゴリズムをプラグインし改善するためにも一般的である。
  論文  参考訳（メタデータ） (2020-07-06T01:32:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。