論文の概要: Loss-Aware Automatic Selection of Structured Pruning Criteria for Deep Neural Network Acceleration

• arxiv url: http://arxiv.org/abs/2506.20152v1
• Date: Wed, 25 Jun 2025 06:18:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.61566
• Title: Loss-Aware Automatic Selection of Structured Pruning Criteria for Deep Neural Network Acceleration
• Title（参考訳）: 深部ニューラルネットワーク高速化のための構造化プルーニング基準の自動選択
• Authors: Deepak Ghimire, Kilho Lee, Seong-heum Kim,
• Abstract要約: 本稿では,深層ニューラルネットワークのスリム化と高速化に有効なLAASP(Los-Aware Automatic Selection of Structured Pruning Criteria)を提案する。 刈り取り訓練アプローチは第1段階を排除し、第2段階と第3段階を1サイクルに統合する。 CIFAR-10およびImageNetベンチマークデータセットにおけるVGGNetとResNetモデルの実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 1.3225694028747144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured pruning is a well-established technique for compressing neural networks, making it suitable for deployment in resource-limited edge devices. This paper presents an efficient Loss-Aware Automatic Selection of Structured Pruning Criteria (LAASP) for slimming and accelerating deep neural networks. The majority of pruning methodologies employ a sequential process consisting of three stages: 1) training, 2) pruning, and 3) fine-tuning, whereas the proposed pruning technique adopts a pruning-while-training approach that eliminates the first stage and integrates the second and third stages into a single cycle. The automatic selection of magnitude or similarity-based filter pruning criteria from a specified pool of criteria and the specific pruning layer at each pruning iteration is guided by the network's overall loss on a small subset of the training data. To mitigate the abrupt accuracy drop due to pruning, the network is retrained briefly after each reduction of a predefined number of floating-point operations (FLOPs). The optimal pruning rates for each layer in the network are automatically determined, eliminating the need for manual allocation of fixed or variable pruning rates for each layer. Experiments on the VGGNet and ResNet models on the CIFAR-10 and ImageNet benchmark datasets demonstrate the effectiveness of the proposed method. In particular, the ResNet56 and ResNet110 models on the CIFAR-10 dataset significantly improve the top-1 accuracy compared to state-of-the-art methods while reducing the network FLOPs by 52\%. Furthermore, the ResNet50 model on the ImageNet dataset reduces FLOPs by more than 42\% with a negligible 0.33\% drop in top-5 accuracy. The source code of this paper is publicly available online - https://github.com/ghimiredhikura/laasp.
• Abstract（参考訳）: 構造化プルーニングはニューラルネットワークを圧縮するための確立された技術であり、リソース制限されたエッジデバイスへのデプロイに適している。 本稿では,深層ニューラルネットワークのスリム化と高速化に有効なLAASP(Los-Aware Automatic Selection of Structured Pruning Criteria)を提案する。 プルーニング手法の大多数は、次の3段階からなるシーケンシャルなプロセスを採用している。 1 訓練。 2)刈り取り,及び 3) 微調整法では第1段階を排除し,第2段階と第3段階を1サイクルに統合するプルーニングトレーニング方式を採用する。 各プルーニングイテレーションにおける特定基準プールと特定プルーニング層とから、等級又は類似度に基づくフィルタプルーニング基準の自動選択は、トレーニングデータの小さなサブセットに対するネットワーク全体の損失によって導かれる。 刈り込みによる急激な精度低下を軽減するため、予め定義された浮動小数点演算数(FLOP)の削減毎にネットワークを短時間再訓練する。 ネットワークの各層に対する最適プルーニングレートは自動的に決定され、各層に対する固定または可変プルーニングレートを手動で割り当てる必要がなくなる。 CIFAR-10およびImageNetベンチマークデータセットにおけるVGGNetとResNetモデルの実験により,提案手法の有効性が示された。 特に、CIFAR-10データセット上のResNet56とResNet110モデルは、最先端の手法と比較してトップ1の精度を著しく向上し、ネットワークFLOPを52\%削減した。 さらに、ImageNetデータセット上のResNet50モデルでは、FLOPを42\%以上削減し、トップ5の精度は0.33\%と無視できる。 本論文のソースコードは、https://github.com/ghimiredhikura/laasp.comで公開されている。

関連論文リスト

• LAPP: Layer Adaptive Progressive Pruning for Compressing CNNs from Scratch [14.911305800463285]
  本稿では,Layer Adaptive Progressive Pruning (LAPP) という新しいフレームワークを提案する。 LAPPは、各レイヤの学習可能なしきい値と、ネットワークのFLOP制約を導入する、効率的かつ効率的なプルーニング戦略を設計する。 提案手法は,各種データセットやバックボーンアーキテクチャにおける従来の圧縮手法よりも優れた性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-25T14:08:45Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN [6.662639002101124]
  近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。 既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。 新規な自動チャネル切断法(ACP)を提案する。 ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
  論文  参考訳（メタデータ） (2021-01-16T08:56:38Z)
• Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
  レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。 残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。 本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-11-29T12:51:16Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks [6.269700080380206]
  深層ネットワークの重みを少なくするプルーニング技術が提案されている。 本研究では,訓練中に深層ネットワークのフィルタをプーンする動的プルーニング学習手法を提案する。 その結果, フィルタの50%をプルーニングすると, ほぼ精度の低下のない圧縮ネットワークが得られることがわかった。
  論文  参考訳（メタデータ） (2020-03-05T18:05:17Z)
• Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks [6.534515590778012]
  プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。 そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。 本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-02-23T17:56:18Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。