論文の概要: A Greedy Hierarchical Approach to Whole-Network Filter-Pruning in CNNs

• arxiv url: http://arxiv.org/abs/2409.03777v2
• Date: Mon, 9 Sep 2024 05:58:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 22:55:38.364585
• Title: A Greedy Hierarchical Approach to Whole-Network Filter-Pruning in CNNs
• Title（参考訳）: CNNにおける全ネットワークフィルタリングへの階層的アプローチ
• Authors: Kiran Purohit, Anurag Reddy Parvathgari, Sourangshu Bhattacharya,
• Abstract要約: 全体ネットワークフィルタプルーニングアルゴリズムは、各層から異なるフィルタ分を抽出するので、柔軟性が向上する。 本稿では,全ネットワークフィルタプルーニングにおける2段階階層的手法を提案する。 本稿では,ResNext101のRAM要件を7.6GBから1.5GBに削減し,CIFAR-10の精度を損なうことなくFLOPSの94%削減を実現する。
• 参考スコア（独自算出の注目度）: 2.188091591747149
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep convolutional neural networks (CNNs) have achieved impressive performance in many computer vision tasks. However, their large model sizes require heavy computational resources, making pruning redundant filters from existing pre-trained CNNs an essential task in developing efficient models for resource-constrained devices. Whole-network filter pruning algorithms prune varying fractions of filters from each layer, hence providing greater flexibility. Current whole-network pruning methods are either computationally expensive due to the need to calculate the loss for each pruned filter using a training dataset, or use various heuristic / learned criteria for determining the pruning fractions for each layer. This paper proposes a two-level hierarchical approach for whole-network filter pruning which is efficient and uses the classification loss as the final criterion. The lower-level algorithm (called filter-pruning) uses a sparse-approximation formulation based on linear approximation of filter weights. We explore two algorithms: orthogonal matching pursuit-based greedy selection and a greedy backward pruning approach. The backward pruning algorithm uses a novel closed-form error criterion for efficiently selecting the optimal filter at each stage, thus making the whole algorithm much faster. The higher-level algorithm (called layer-selection) greedily selects the best-pruned layer (pruning using the filter-selection algorithm) using a global pruning criterion. We propose algorithms for two different global-pruning criteria: (1) layer-wise relative error (HBGS), and (2) final classification error (HBGTS). Our suite of algorithms outperforms state-of-the-art pruning methods on ResNet18, ResNet32, ResNet56, VGG16, and ResNext101. Our method reduces the RAM requirement for ResNext101 from 7.6 GB to 1.5 GB and achieves a 94% reduction in FLOPS without losing accuracy on CIFAR-10.
• Abstract（参考訳）: 多くのコンピュータビジョンタスクにおいて、ディープ畳み込みニューラルネットワーク(CNN)は印象的なパフォーマンスを実現している。 しかし、それらの大きなモデルサイズは、大量の計算資源を必要とするため、既存の事前訓練されたCNNからの冗長なフィルタをプルーニングすることが、リソース制約のあるデバイスの効率的なモデルを開発する上で必須の課題である。 全体ネットワークフィルタプルーニングアルゴリズムは、各層から異なるフィルタ分を抽出するので、柔軟性が向上する。 現在のネットワーク全体のプルーニング手法は、トレーニングデータセットを使用して各プルーニングフィルタの損失を計算する必要があるか、あるいは各レイヤのプルーニング率を決定するための様々なヒューリスティック/学習基準を使用する必要があるため、計算的に高価である。 本稿では,全ネットワークフィルタプルーニングにおける2段階階層的手法を提案する。 低レベルのアルゴリズム(フィルタプルーニングと呼ばれる)は、フィルタ重みの線形近似に基づくスパース近似の定式化を用いる。 直交的追従に基づく欲求選択と、欲求的後進プルーニングアプローチの2つのアルゴリズムを探索する。 後方プルーニングアルゴリズムは、新しいクローズドフォームエラー基準を用いて、各段階で最適なフィルタを効率よく選択し、アルゴリズム全体をはるかに高速にする。 高レベルアルゴリズム(層選択と呼ばれる)は、グローバルプルーニング基準を用いて最良プルーニングされた層(フィルタ選択アルゴリズムを用いてプルーニングする)を強引に選択する。 本研究では,(1)階層的相対誤差(HBGS)と(2)最終分類誤差(HBGTS)の2つの異なるグローバルプルーニング基準のアルゴリズムを提案する。 我々のアルゴリズムは、ResNet18、ResNet32、ResNet56、VGG16、ResNext101の最先端のプルーニング手法より優れている。 本稿では,ResNext101のRAM要件を7.6GBから1.5GBに削減し,CIFAR-10の精度を損なうことなくFLOPSの94%削減を実現する。

関連論文リスト

• Efficient CNNs via Passive Filter Pruning [23.661189257759535]
  畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。 CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。 CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
  論文  参考訳（メタデータ） (2023-04-05T09:19:19Z)
• Sub-network Multi-objective Evolutionary Algorithm for Filter Pruning [5.998027804346945]
  ディープニューラルネットワーク(DNN)におけるモデル圧縮とアクセラレーションを実現するため,フィルタプルーニングは一般的な方法である 本稿では,フィルタプルーニングのためのサブネットワーク多目的進化アルゴリズム(SMOEA)を提案する。 CIFAR-10のVGG-14モデル実験により,提案したSMOEAの有効性が検証された。
  論文  参考訳（メタデータ） (2022-10-22T13:34:14Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• A Passive Similarity based CNN Filter Pruning for Efficient Acoustic Scene Classification [23.661189257759535]
  音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。 本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。 提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
  論文  参考訳（メタデータ） (2022-03-29T17:00:06Z)
• Improve Convolutional Neural Network Pruning by Maximizing Filter Variety [0.0]
  ニューラルネットワークプルーニングは、モデルストレージと計算要求を減らすために広く利用されている戦略である。 l1ノルムやムーブメントのような一般的なプルーニング基準は、フィルターの個々の効用を考慮しないのが普通である。 本稿では,これらの2つの課題を解決し,どのプルーニング基準にも適用できる手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:59Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。