論文の概要: UPDP: A Unified Progressive Depth Pruner for CNN and Vision Transformer

• arxiv url: http://arxiv.org/abs/2401.06426v1
• Date: Fri, 12 Jan 2024 07:43:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 20:08:31.345329
• Title: UPDP: A Unified Progressive Depth Pruner for CNN and Vision Transformer
• Title（参考訳）: updp:cnnと視覚トランスフォーマーのための統合プログレッシブ深さプルーナ
• Authors: Ji Liu, Dehua Tang, Yuanxian Huang, Li Zhang, Xiaocheng Zeng, Dong Li, Mingjie Lu, Jinzhang Peng, Yu Wang, Fan Jiang, Lu Tian, Ashish Sirasao
• Abstract要約: ネットワーク深度を低減した事前の深度切削法は、いくつかの効率的なモデルの切削には適さない。 提案手法は,新しいブロックプルーニング戦略とプログレッシブトレーニング手法である。 また,視覚変換器モデル上での最先端のプルーニング性能も実現した。
• 参考スコア（独自算出の注目度）: 21.080920460773722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional channel-wise pruning methods by reducing network channels struggle to effectively prune efficient CNN models with depth-wise convolutional layers and certain efficient modules, such as popular inverted residual blocks. Prior depth pruning methods by reducing network depths are not suitable for pruning some efficient models due to the existence of some normalization layers. Moreover, finetuning subnet by directly removing activation layers would corrupt the original model weights, hindering the pruned model from achieving high performance. To address these issues, we propose a novel depth pruning method for efficient models. Our approach proposes a novel block pruning strategy and progressive training method for the subnet. Additionally, we extend our pruning method to vision transformer models. Experimental results demonstrate that our method consistently outperforms existing depth pruning methods across various pruning configurations. We obtained three pruned ConvNeXtV1 models with our method applying on ConvNeXtV1, which surpass most SOTA efficient models with comparable inference performance. Our method also achieves state-of-the-art pruning performance on the vision transformer model.
• Abstract（参考訳）: ネットワークチャネルの削減による従来のチャネルワイドプルーニング手法は、深い畳み込み層を持つ効率的なCNNモデルと、一般的な逆残差ブロックのような特定の効率的なモジュールを効果的に創り出すのに苦労する。 ネットワーク深度を低減した事前の深度切削法は, 正規化層が存在するため, 効率的なモデルの切削には適していない。 さらに、アクティベーション層を直接除去することでサブネットを微調整すると、元のモデルの重みが損なわれ、プルーニングされたモデルの性能が損なわれる。 この問題に対処するために,効率的なモデルのための新しい深さプルーニング手法を提案する。 提案手法は,サブネットのための新しいブロックプルーニング戦略とプログレッシブトレーニング手法である。 さらに、我々はプルーニング法を視覚変換器モデルに拡張する。 実験の結果,提案手法は各種プルーニング構成において,既存の深さプルーニング法を一貫して上回っていることがわかった。 提案手法をConvNeXtV1に適用した3種類のPruned ConvNeXtV1モデルを得た。 また,ビジョントランスモデル上での最先端のプルーニング性能を実現する。

関連論文リスト

• Dynamic Structure Pruning for Compressing CNNs [13.73717878732162]
  本研究では, チャネル内プルーニングに最適なプルーニング粒度を特定するため, 動的プルーニングと呼ばれる新しい構造プルーニング法を提案する。 実験結果から, チャネルプルーニングと比較して, 動的構造プルーニングがGPU上での最先端のプルーニング性能, より現実的なアクセラレーションを実現することが示された。
  論文  参考訳（メタデータ） (2023-03-17T02:38:53Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep Convolutional Neural Networks [9.293334856614628]
  本稿では,補助ゲーティング構造を有する新しいネットワーク切断法を提案する。 実験により,本手法は分類タスクの最先端圧縮性能を実現することができることを示した。
  論文  参考訳（メタデータ） (2022-05-07T09:03:32Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Network Pruning via Resource Reallocation [75.85066435085595]
  rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。 PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。 実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
  論文  参考訳（メタデータ） (2021-03-02T16:28:10Z)
• AutoPruning for Deep Neural Network with Dynamic Channel Masking [28.018077874687343]
  深層ニューラルネットワークのための学習に基づくオートプルーニングアルゴリズムを提案する。 まず、各層に対する重みと最良チャネルを目的とする2つの目的の問題を定式化する。 次に、最適なチャネル数と重みを同時に導出するために、別の最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T20:12:46Z)
• Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
  本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。 本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-05-18T17:57:09Z)
• DMCP: Differentiable Markov Channel Pruning for Neural Networks [67.51334229530273]
  DMCP (diffariable Markov Channel Pruning) と命名された新しいチャネルプルーニング法を提案する。 本手法は微分可能であり,標準タスク損失や予算正規化に関して,勾配勾配により直接最適化することができる。 提案手法の有効性を検証するため,ResNet と MobilenetV2 を用いたImagenet 実験を行った。
  論文  参考訳（メタデータ） (2020-05-07T09:39:55Z)
• Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
  既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。 本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。 画像分類と顔認識の両方の実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-01-04T07:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。