論文の概要: Asymptotic Soft Cluster Pruning for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2206.08186v1
• Date: Thu, 16 Jun 2022 13:58:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 14:05:31.608382
• Title: Asymptotic Soft Cluster Pruning for Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークのための漸近ソフトクラスタプルーニング
• Authors: Tao Niu, Yinglei Teng, Panpan Zou
• Abstract要約: フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
• 参考スコア（独自算出の注目度）: 5.311178623385279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Filter pruning method introduces structural sparsity by removing selected filters and is thus particularly effective for reducing complexity. Previous works empirically prune networks from the point of view that filter with smaller norm contributes less to the final results. However, such criteria has been proven sensitive to the distribution of filters, and the accuracy may hard to recover since the capacity gap is fixed once pruned. In this paper, we propose a novel filter pruning method called Asymptotic Soft Cluster Pruning (ASCP), to identify the redundancy of network based on the similarity of filters. Each filter from over-parameterized network is first distinguished by clustering, and then reconstructed to manually introduce redundancy into it. Several guidelines of clustering are proposed to better preserve feature extraction ability. After reconstruction, filters are allowed to be updated to eliminate the effect caused by mistakenly selected. Besides, various decaying strategies of the pruning rate are adopted to stabilize the pruning process and improve the final performance as well. By gradually generating more identical filters within each cluster, ASCP can remove them through channel addition operation with almost no accuracy drop. Extensive experiments on CIFAR-10 and ImageNet datasets show that our method can achieve competitive results compared with many state-of-the-art algorithms.
• Abstract（参考訳）: フィルタプルーニング法では,選択したフィルタを除去して構造的スパース性を導入することにより,特に複雑度を低減できる。 従来は、より小さなノルムのフィルタが最終的な結果に寄与しないという観点から、経験的にネットワークを熟考していた。 しかし、そのような基準はフィルタの分布に敏感であることが証明されており、キャパシティギャップが切断された後に固定されるため、精度の回復は困難である。 本稿では,Asymptotic Soft Cluster Pruning (ASCP) と呼ばれる新しいフィルタプルーニング手法を提案し,フィルタの類似性に基づいてネットワークの冗長性を同定する。 過パラメータネットワークの各フィルタは、まずクラスタリングによって区別され、その後、手動で冗長性を導入するように再構成される。 特徴抽出能力を向上するためのクラスタリングのガイドラインがいくつか提案されている。 再建後、誤って選択された効果を除去するためにフィルタの更新が許される。 また, プルーニング速度の様々な崩壊戦略を採用して, プルーニング工程の安定化と最終性能の向上を図る。 各クラスタ内でより同一のフィルタを徐々に生成することにより、ASCPは精度の低下のないチャネル加算操作によってそれらを除去することができる。 CIFAR-10とImageNetデータセットの大規模な実験により,本手法は最先端のアルゴリズムと比較して,競争力のある結果が得られることが示された。

関連論文リスト

• Structured Network Pruning by Measuring Filter-wise Interactions [6.037167142826297]
  SNPFI (Structured Network Pruning by Measurement filter-wise Interaction) を用いた構造化ネットワークプルーニング手法を提案する。 刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当てる。 我々はSNPFIの有効性をいくつかの一般的なCNNモデルで実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-03T05:26:05Z)
• Filter Pruning via Filters Similarity in Consecutive Layers [20.29555787754269]
  畳み込みニューラルネットワーク(CNN)の圧縮と高速化にフィルタプルーニングが広く採用されている 我々は,FSCL(Consecutive Layers)におけるフィルタ類似性を明示的に活用して,新しいプルーニング手法を直感的に提案する。 実験によりFSCLの有効性が示され, 精度, FLOP, パラメータ還元に対する最先端技術よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2023-04-26T09:18:38Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression [145.04742985050808]
  我々は,フィルタプルーニングと低ランク分解という2つの一般的なネットワーク圧縮手法を統一的に解析する。 スパシティ正規化の実施方法を変えることにより、フィルタプルーニングと低ランク分解を導出することができる。 われわれの手法は、いくつかのベンチマークにおける最先端の手法と比較し、その可能性を証明している。
  論文  参考訳（メタデータ） (2020-03-19T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。