論文の概要: Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler

• arxiv url: http://arxiv.org/abs/2307.00198v1
• Date: Sat, 1 Jul 2023 02:28:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 17:34:27.603432
• Title: Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler
• Title（参考訳）: 知識駆動型微分フィルタサンプリングによる効率的なCNNのためのフィルタプルーニング
• Authors: Shaohui Lin, Wenxuan Huang, Jiao Xie, Baochang Zhang, Yunhang Shen, Zhou Yu, Jungong Han, David Doermann
• Abstract要約: フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
• 参考スコア（独自算出の注目度）: 103.97487121678276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Filter pruning simultaneously accelerates the computation and reduces the memory overhead of CNNs, which can be effectively applied to edge devices and cloud services. In this paper, we propose a novel Knowledge-driven Differential Filter Sampler~(KDFS) with Masked Filter Modeling~(MFM) framework for filter pruning, which globally prunes the redundant filters based on the prior knowledge of a pre-trained model in a differential and non-alternative optimization. Specifically, we design a differential sampler with learnable sampling parameters to build a binary mask vector for each layer, determining whether the corresponding filters are redundant. To learn the mask, we introduce masked filter modeling to construct PCA-like knowledge by aligning the intermediate features from the pre-trained teacher model and the outputs of the student decoder taking sampling features as the input. The mask and sampler are directly optimized by the Gumbel-Softmax Straight-Through Gradient Estimator in an end-to-end manner in combination with global pruning constraint, MFM reconstruction error, and dark knowledge. Extensive experiments demonstrate the proposed KDFS's effectiveness in compressing the base models on various datasets. For instance, the pruned ResNet-50 on ImageNet achieves $55.36\%$ computation reduction, and $42.86\%$ parameter reduction, while only dropping $0.35\%$ Top-1 accuracy, significantly outperforming the state-of-the-art methods. The code is available at \url{https://github.com/Osilly/KDFS}.
• Abstract（参考訳）: フィルタプルーニングは、同時に計算を加速し、エッジデバイスやクラウドサービスに効果的に適用可能なcnnのメモリオーバーヘッドを削減する。 本稿では,事前学習されたモデルの事前知識と非代替最適化に基づいて,冗長なフィルタをグローバルに生成する,Masked Filter Modeling~(MFM)フレームワークを備えた知識駆動型微分フィルタサンプリング(KDFS)を提案する。 具体的には,学習可能なサンプリングパラメータを持つ微分サンプラーを設計し,各層にバイナリマスクベクトルを構築し,対応するフィルタが冗長かどうかを判定する。 マスクを学習するために,事前学習した教師モデルからの中間的特徴と,サンプリングした特徴を入力として取り入れた学生デコーダの出力を整列させて,PCAのような知識を構築するマスク付きフィルタモデルを導入する。 マスクとサンプリング器は、Gumbel-Softmax Straight-Through Gradient Estimatorによって、グローバルプルーニング制約、MFM再構成誤差、ダークナレッジと組み合わせて、エンドツーエンドで直接最適化される。 大規模な実験は、さまざまなデータセット上でベースモデルを圧縮するKDFSの有効性を示す。 例えば、ImageNet上のpruned ResNet-50は、55.36\%$計算の削減と42.86\%$パラメータの削減を達成し、0.35\%$Top-1の精度を落とし、最先端の手法を著しく上回っている。 コードは \url{https://github.com/osilly/kdfs} で入手できる。

関連論文リスト

• Building Brain Tumor Segmentation Networks with User-Assisted Filter Estimation and Selection [42.62139206176152]
  複数のFLIM実行から最も関連性の高いフィルタを推定・選択するためのユーザ支援手法であるMulti-Step (MS) FLIMを提案する。 MS-FLIMは第1の畳み込み層にのみ使用され、既にFLIMよりも改善されていることを示している。 We build a simple U-shaped encoder-decoder network, named sU-Net, for glioblastoma segmentation using T1Gd and FLAIR MRI scans。
  論文  参考訳（メタデータ） (2024-03-19T14:11:26Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs [69.3939291118954]
  非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
  論文  参考訳（メタデータ） (2022-03-15T11:50:45Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。