論文の概要: Protective Self-Adaptive Pruning to Better Compress DNNs

• arxiv url: http://arxiv.org/abs/2303.11881v1
• Date: Tue, 21 Mar 2023 14:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 14:50:00.412751
• Title: Protective Self-Adaptive Pruning to Better Compress DNNs
• Title（参考訳）: 圧縮DNNに対する保護的自己適応型プルーニング
• Authors: Liang Li, Pengfei Zhao
• Abstract要約: 重要なフィルタが監視勾配を通ってプルーニングされるのを防止するため, 保護修復機構が提案されている。 ImageNetとCIFAR-10の実験は、精度と圧縮比の両方において、現在の研究よりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 8.818389575110848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive network pruning approach has recently drawn significant attention due to its excellent capability to identify the importance and redundancy of layers and filters and customize a suitable pruning solution. However, it remains unsatisfactory since current adaptive pruning methods rely mostly on an additional monitor to score layer and filter importance, and thus faces high complexity and weak interpretability. To tackle these issues, we have deeply researched the weight reconstruction process in iterative prune-train process and propose a Protective Self-Adaptive Pruning (PSAP) method. First of all, PSAP can utilize its own information, weight sparsity ratio, to adaptively adjust pruning ratio of layers before each pruning step. Moreover, we propose a protective reconstruction mechanism to prevent important filters from being pruned through supervising gradients and to avoid unrecoverable information loss as well. Our PSAP is handy and explicit because it merely depends on weights and gradients of model itself, instead of requiring an additional monitor as in early works. Experiments on ImageNet and CIFAR-10 also demonstrate its superiority to current works in both accuracy and compression ratio, especially for compressing with a high ratio or pruning from scratch.
• Abstract（参考訳）: 適応型ネットワークプルーニング手法は,レイヤやフィルタの重要性と冗長性を識別し,適切なプルーニングソリューションをカスタマイズする能力に優れており,近年注目されている。 しかし、現在の適応型プルーニング法は層とフィルタの重要度を評価するための追加のモニターに大きく依存しているため、高い複雑さと弱い解釈可能性に直面している。 これらの問題に対処するために, 繰り返しプルーントレイン過程における重量再構成過程を深く研究し, 保護的自己適応プルーニング(psap)法を提案する。 まず、psapは独自の情報である重量スパーシティ比を利用して、各プルーニングステップの前にレイヤーのプルーニング比を適応的に調整することができる。 さらに,監視勾配による重要なフィルタの破砕を防止し,回復不能な情報損失も回避するための保護修復機構を提案する。 私たちのpsapは、初期の作業のように追加のモニターを必要とせず、モデル自体の重みと勾配にのみ依存するため、便利で明確です。 ImageNetとCIFAR-10の実験では、精度と圧縮比の両方において、特に高い比率で圧縮したり、スクラッチからプルーニングする場合に、現在の作業よりも優れていることが示されている。

関連論文リスト

• Adaptive Sharpness-Aware Pruning for Robust Sparse Networks [20.326071714224973]
  本稿では、ネットワークシャープネスのレンズによるロバストネスとコンパクトネスの目標を統一するAdaptive Sharpness-Aware Pruning (AdaSAP)を紹介する。 AdaSAPは画像分類におけるプルーニングモデルのロバスト精度をImageNet Cで最大+6%、ImageNet V2で+4%、Pascal VOCデータセットで+4%改善する。
  論文  参考訳（メタデータ） (2023-06-25T18:29:29Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Practical Exposure Correction: Great Truths Are Always Simple [65.82019845544869]
  我々は,効率と性能の特性を組み立てるPEC(Practical Exposure Corrector)を確立する。 観測結果から有用な情報を抽出するキーエンジンとして,露光対向関数を導入する。 我々の実験は提案したPECの優位性を十分に明らかにしている。
  論文  参考訳（メタデータ） (2022-12-29T09:52:13Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Attentive Fine-Grained Structured Sparsity for Image Restoration [63.35887911506264]
  N:M 構造化プルーニングは,モデルの精度制約を効率的にするための効果的かつ実用的なプルーニング手法の1つである。 そこで本稿では, 各層におけるN:M構造化空間の刈り取り比を決定する新しい刈り取り法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T12:44:55Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。