論文の概要: Feature Statistics Guided Efficient Filter Pruning

• arxiv url: http://arxiv.org/abs/2005.12193v1
• Date: Thu, 21 May 2020 01:50:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 23:47:16.692613
• Title: Feature Statistics Guided Efficient Filter Pruning
• Title（参考訳）: 効率的なフィルタプルーニングを導く特徴統計
• Authors: Hang Li, Chen Ma, Wei Xu and Xue Liu
• Abstract要約: 多様性認識選択 (DFS) と類似性認識選択 (SFS) の2種類の特徴マップ選択を組み込んだ新しいフィルタ切断法を提案する。 本モデルでは, 最大91.6%のパラメータ減少, 83.7%のFLOPが, ほぼ精度の低下を伴わない。
• 参考スコア（独自算出の注目度）: 23.36517782733313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building compact convolutional neural networks (CNNs) with reliable performance is a critical but challenging task, especially when deploying them in real-world applications. As a common approach to reduce the size of CNNs, pruning methods delete part of the CNN filters according to some metrics such as $l1$-norm. However, previous methods hardly leverage the information variance in a single feature map and the similarity characteristics among feature maps. In this paper, we propose a novel filter pruning method, which incorporates two kinds of feature map selections: diversity-aware selection (DFS) and similarity-aware selection (SFS). DFS aims to discover features with low information diversity while SFS removes features that have high similarities with others. We conduct extensive empirical experiments with various CNN architectures on publicly available datasets. The experimental results demonstrate that our model obtains up to 91.6% parameter decrease and 83.7% FLOPs reduction with almost no accuracy loss.
• Abstract（参考訳）: 信頼性のあるパフォーマンスでコンパクト畳み込みニューラルネットワーク(CNN)を構築することは、特に現実世界のアプリケーションにそれらをデプロイする場合、非常に難しい作業である。 CNNのサイズを減らすための一般的なアプローチとして、pruningメソッドは、$l1$-normなどのメトリクスに従ってCNNフィルタの一部を削除する。 しかし,従来の手法では,単一の特徴マップにおける情報分散や特徴マップ間の類似性をほとんど利用していなかった。 本稿では,多様性意識選択 (DFS) と類似性意識選択 (SFS) の2種類の特徴マップ選択を取り入れた新しいフィルタプルーニング法を提案する。 DFSは情報多様性の低い機能を見つけることを目的としており、SFSは他の機能と高い類似性を持つ機能を削除している。 我々は、公開データセット上で様々なCNNアーキテクチャを用いて広範な実験実験を行う。 実験結果から,本モデルでは最大91.6%のパラメータ減少と83.7%のFLOPs削減が得られた。

関連論文リスト

• EasyFS: an Efficient Model-free Feature Selection Framework via Elastic Transformation of Features [8.503238425293754]
  本稿では,従来のモデル認識手法よりも優れた性能を実現するために,機能拡張と圧縮による効率的なモデルフリー特徴選択フレームワーク,すなわちEasyFSを提案する。 21の異なるデータセットの実験では、EasyFSは回帰タスクの10.9%、分類タスクの5.7%で最先端のメソッドよりも優れており、時間の94%以上を節約している。
  論文  参考訳（メタデータ） (2024-02-04T09:25:07Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Filter Pruning based on Information Capacity and Independence [11.411996979581295]
  本稿では,フィルタを解釈可能,マルチパースペクティブ,軽量な方法で選択する新しいフィルタプルーニング手法を提案する。 各フィルタに含まれる情報量について,情報容量と呼ばれる新しい指標を提案する。 フィルタ間の相関について、情報独立と呼ばれる別の指標が設計されている。
  論文  参考訳（メタデータ） (2023-03-07T04:26:44Z)
• A Passive Similarity based CNN Filter Pruning for Efficient Acoustic Scene Classification [23.661189257759535]
  音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。 本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。 提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
  論文  参考訳（メタデータ） (2022-03-29T17:00:06Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Bias Loss for Mobile Neural Networks [14.08237958134373]
  コンパクト畳み込みニューラルネットワーク(CNN)は、近年、異常なパフォーマンス改善を目撃している。 層によって捕捉される多様かつ豊富な特徴は、これらの成功しているCNNの重要な特徴である。 コンパクトCNNでは、パラメータ数が限られているため、豊富な特徴が得られず、特徴の多様性が本質的な特徴となる。
  論文  参考訳（メタデータ） (2021-07-23T12:37:56Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection [91.43066633305662]
  RGB-D Salient Object Detection (SOD) の主な目的は、相互融合情報をよりよく統合し活用する方法である。 本稿では,これらの問題を新たな視点から考察する。 我々は、より柔軟で効率的なマルチスケールのクロスモーダルな特徴処理を実装している。
  論文  参考訳（メタデータ） (2020-07-13T07:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。