論文の概要: Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs

• arxiv url: http://arxiv.org/abs/2203.07808v1
• Date: Tue, 15 Mar 2022 11:50:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 15:10:43.963592
• Title: Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
• Title（参考訳）: interspace pruning:adaptive filter representationsを使用してスパースcnnのトレーニングを改善する
• Authors: Paul Wimmer, Jens Mehnert and Alexandru Paul Condurache
• Abstract要約: 非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
• 参考スコア（独自算出の注目度）: 69.3939291118954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unstructured pruning is well suited to reduce the memory footprint of convolutional neural networks (CNNs), both at training and inference time. CNNs contain parameters arranged in $K \times K$ filters. Standard unstructured pruning (SP) reduces the memory footprint of CNNs by setting filter elements to zero, thereby specifying a fixed subspace that constrains the filter. Especially if pruning is applied before or during training, this induces a strong bias. To overcome this, we introduce interspace pruning (IP), a general tool to improve existing pruning methods. It uses filters represented in a dynamic interspace by linear combinations of an underlying adaptive filter basis (FB). For IP, FB coefficients are set to zero while un-pruned coefficients and FBs are trained jointly. In this work, we provide mathematical evidence for IP's superior performance and demonstrate that IP outperforms SP on all tested state-of-the-art unstructured pruning methods. Especially in challenging situations, like pruning for ImageNet or pruning to high sparsity, IP greatly exceeds SP with equal runtime and parameter costs. Finally, we show that advances of IP are due to improved trainability and superior generalization ability.
• Abstract（参考訳）: 非構造化プルーニングは、トレーニングと推論時間の両方において、畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している。 cnnは$k \times k$フィルタで配列されたパラメータを含む。 標準非構造化プルーニング(sp)はフィルタ要素を0にすることでcnnのメモリフットプリントを削減し、フィルタを制約する固定部分空間を指定する。 特に刈り取りがトレーニングの前後に適用される場合、これは強いバイアスを引き起こす。 これを解決するために,既存のプルーニング法を改善する汎用ツールであるInterspace pruning (IP)を導入する。 動的インタースペースで表現されるフィルタを、基礎となる適応フィルタ基底(FB)の線形結合で使用する。 IPの場合、FB係数はゼロに設定され、未切断係数とFBは共同で訓練される。 本研究は,IPの優れた性能を示す数学的証拠を提供し,テストされたすべての非構造化プルーニング法において,IPがSPより優れていることを示す。 特に、ImageNetのプルーニングや高いスパシティへのプルーニングのような困難な状況では、IPは、同じランタイムとパラメータコストでSPを大きく上回る。 最後に,IPの進歩は,トレーニング性の向上と一般化能力の向上によるものであることを示す。

関連論文リスト

• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• CR-SFP: Learning Consistent Representation for Soft Filter Pruning [18.701621806529438]
  ソフトフィルタプルーニング(SFP)は,プルーニングフィルタのネットワークへの更新と再グローを可能にする効果的なプルーニング技術として登場した。 CR-SFPと呼ばれるソフトフィルタプルーニングのための一貫した表現を学習することで,このギャップを軽減することを提案する。 CR-SFPは、追加の推論コストを導入することなくP-NNの精度を向上させるための、シンプルで効果的なトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2023-12-17T06:41:04Z)
• Structured Network Pruning by Measuring Filter-wise Interactions [6.037167142826297]
  SNPFI (Structured Network Pruning by Measurement filter-wise Interaction) を用いた構造化ネットワークプルーニング手法を提案する。 刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当てる。 我々はSNPFIの有効性をいくつかの一般的なCNNモデルで実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-03T05:26:05Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks [12.541769091896624]
  プルーニングはディープニューラルネットワーク(DNN)の冗長パラメータを除去するモデル圧縮法である 特徴フロー正則化(FFR)と呼ばれる特徴の進化という新たな視点から, 単純かつ効果的な正則化戦略を提案する。 VGGNets、CIFAR-10/100上のResNets、Tiny ImageNetデータセットによる実験では、FFRが非構造化と構造化の両方の空間性を大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2021-06-05T15:00:50Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• OrthoReg: Robust Network Pruning Using Orthonormality Regularization [7.754712828900727]
  本稿では,ネットワークフィルタの正則性を強制し,フィルタ間の相関を小さくする原理的正規化戦略を提案する。 VGG-13、MobileNet-V1、ResNet-34の反復的なプルーニングに使用する場合、OrthoRegは5つのベースライン技術より一貫して優れている。
  論文  参考訳（メタデータ） (2020-09-10T17:21:21Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。