論文の概要: Filter Pruning via Filters Similarity in Consecutive Layers

• arxiv url: http://arxiv.org/abs/2304.13397v1
• Date: Wed, 26 Apr 2023 09:18:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 15:00:58.998604
• Title: Filter Pruning via Filters Similarity in Consecutive Layers
• Title（参考訳）: 連続層におけるフィルタ類似性によるフィルタプルーニング
• Authors: Xiaorui Wang, Jun Wang, Xin Tang, Peng Gao, Rui Fang, Guotong Xie
• Abstract要約: 畳み込みニューラルネットワーク(CNN)の圧縮と高速化にフィルタプルーニングが広く採用されている 我々は,FSCL(Consecutive Layers)におけるフィルタ類似性を明示的に活用して,新しいプルーニング手法を直感的に提案する。 実験によりFSCLの有効性が示され, 精度, FLOP, パラメータ還元に対する最先端技術よりも顕著な改善が得られた。
• 参考スコア（独自算出の注目度）: 20.29555787754269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Filter pruning is widely adopted to compress and accelerate the Convolutional Neural Networks (CNNs), but most previous works ignore the relationship between filters and channels in different layers. Processing each layer independently fails to utilize the collaborative relationship across layers. In this paper, we intuitively propose a novel pruning method by explicitly leveraging the Filters Similarity in Consecutive Layers (FSCL). FSCL compresses models by pruning filters whose corresponding features are more worthless in the model. The extensive experiments demonstrate the effectiveness of FSCL, and it yields remarkable improvement over state-of-the-art on accuracy, FLOPs and parameter reduction on several benchmark models and datasets.
• Abstract（参考訳）: フィルタプルーニングは畳み込みニューラルネットワーク(cnns)を圧縮・加速するために広く採用されているが、ほとんどの先行研究は異なる層内のフィルタとチャネルの関係を無視している。 各レイヤを独立して処理することは、レイヤ間の協調関係を利用できない。 本稿では,連続層(fscl)におけるフィルタ類似性を明示的に活用し,新しい刈り取り手法を提案する。 FSCLは、モデルでより価値のない特徴を持つフィルタをプルーニングすることでモデルを圧縮する。 この実験はFSCLの有効性を実証し、いくつかのベンチマークモデルやデータセットの精度、FLOP、パラメータの削減に最先端よりも顕著な改善をもたらす。

関連論文リスト

• Structured Network Pruning by Measuring Filter-wise Interactions [6.037167142826297]
  SNPFI (Structured Network Pruning by Measurement filter-wise Interaction) を用いた構造化ネットワークプルーニング手法を提案する。 刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当てる。 我々はSNPFIの有効性をいくつかの一般的なCNNモデルで実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-03T05:26:05Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Focus Your Attention (with Adaptive IIR Filters) [62.80628327613344]
  本稿では2次インパルス応答(IIR)フィルタを用いて入力シーケンスを動的に処理する新しい層を提案する。 比較的低次であるにもかかわらず、因果適応フィルタは関連する配列要素に注目することが示されている。
  論文  参考訳（メタデータ） (2023-05-24T09:42:30Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Reconstructing Pruned Filters using Cheap Spatial Transformations [22.698845243751293]
  安価な空間変換を用いた畳み込み層の効率的な代替手段を提案する。 この構造は、学習された畳み込みフィルタの本質的に空間的冗長性を利用する。 これらのネットワークは、最先端のプルーニングモデルに匹敵する、あるいは改善された性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-25T12:13:45Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• MINT: Deep Network Compression via Mutual Information-based Neuron Trimming [32.449324736645586]
  Mutual Information-based Neuron Trimming (MINT) はプルーニングによる深部圧縮にアプローチする。 MINTは、隣り合う層のフィルタ間の関係の強さに基づいて間隔を強制する。 ネットワークを刈り取る際には、保持されたフィルタが後続層への情報の大部分に寄与することを保証します。
  論文  参考訳（メタデータ） (2020-03-18T21:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。