論文の概要: Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion

• arxiv url: http://arxiv.org/abs/2107.06916v1
• Date: Wed, 14 Jul 2021 18:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 14:14:03.953445
• Title: Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion
• Title（参考訳）: ダイナミックコードフィルタ融合を用いた画像分類のためのコンパクトcnnの訓練
• Authors: Mingbao Lin, Rongrong Ji, Bohong Chen, Fei Chao, Jianzhuang Liu, Wei Zeng, Yonghong Tian, Qi Tian
• Abstract要約: 動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
• 参考スコア（独自算出の注目度）: 139.71852076031962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The mainstream approach for filter pruning is usually either to force a hard-coded importance estimation upon a computation-heavy pretrained model to select "important" filters, or to impose a hyperparameter-sensitive sparse constraint on the loss objective to regularize the network training. In this paper, we present a novel filter pruning method, dubbed dynamic-coded filter fusion (DCFF), to derive compact CNNs in a computation-economical and regularization-free manner for efficient image classification. Each filter in our DCFF is firstly given an inter-similarity distribution with a temperature parameter as a filter proxy, on top of which, a fresh Kullback-Leibler divergence based dynamic-coded criterion is proposed to evaluate the filter importance. In contrast to simply keeping high-score filters in other methods, we propose the concept of filter fusion, i.e., the weighted averages using the assigned proxies, as our preserved filters. We obtain a one-hot inter-similarity distribution as the temperature parameter approaches infinity. Thus, the relative importance of each filter can vary along with the training of the compact CNN, leading to dynamically changeable fused filters without both the dependency on the pretrained model and the introduction of sparse constraints. Extensive experiments on classification benchmarks demonstrate the superiority of our DCFF over the compared counterparts. For example, our DCFF derives a compact VGGNet-16 with only 72.77M FLOPs and 1.06M parameters while reaching top-1 accuracy of 93.47% on CIFAR-10. A compact ResNet-50 is obtained with 63.8% FLOPs and 58.6% parameter reductions, retaining 75.60% top-1 accuracy on ILSVRC-2012. Our code, narrower models and training logs are available at https://github.com/lmbxmu/DCFF.
• Abstract（参考訳）: フィルタプルーニングの主流のアプローチは、通常、計算量の多い事前訓練されたモデルに対して「重要」なフィルタを選択するためにハードコードされた重要度推定を強制するか、ネットワークトレーニングを標準化するために損失目標にハイパーパラメータ感受性のスパース制約を課すことである。 本稿では,効率的な画像分類のために,コンパクトなcnnを計算経済的かつ正規化フリーな方法で導出する,dynamic-coded filter fusion (dcff) と呼ばれる新しいフィルタプルーニング法を提案する。 まず,dcff内の各フィルタに温度パラメータをフィルタプロキシとする相似性分布が与えられ,その上に,新しいkullback-leibler divergence-based dynamic-coded criterionが提案されている。 他の方法では単にハイスコアフィルタを保持するのとは対照的に、フィルタ融合の概念、すなわち割り当てられたプロキシを用いた重み付け平均を保存フィルタとして提案する。 温度パラメータが無限大に近づくと, 熱間相似分布が得られる。 したがって、各フィルタの相対的重要性は、コンパクトなcnnのトレーニングと異なり、事前学習されたモデルに依存することなく動的に変更可能な融合フィルタとスパース制約の導入の両方をもたらすことができる。 分類ベンチマークに関する広範囲な実験により,比較対象に対するdcffの優位性が示された。 例えば、当社のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16をCIFAR-10で93.47%の精度で生成する。 コンパクトなResNet-50は63.8%のFLOPと58.6%のパラメータ削減を備えており、ILSVRC-2012では75.60%の精度を維持している。 私たちのコード、より狭いモデル、トレーニングログはhttps://github.com/lmbxmu/dcff.com/で利用可能です。

関連論文リスト

• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Pruning by Active Attention Manipulation [49.61707925611295]
  CNNのフィルタプルーニングは典型的には、CNNのフィルタ重みやアクティベーションマップに離散マスクを適用することで達成される。 ここでは、アクティブアテンション操作(PAAM)によるプルーニング(pruning)という新しいフィルタ強調表示概念を提案する。 PAAMはフィルタ重みからアナログフィルタスコアを学習し、そのスコアの加算項によって正規化されたコスト関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-20T09:17:02Z)
• A Passive Similarity based CNN Filter Pruning for Efficient Acoustic Scene Classification [23.661189257759535]
  音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。 本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。 提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
  論文  参考訳（メタデータ） (2022-03-29T17:00:06Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Network Compression via Central Filter [9.585818883354449]
  本稿では,フィルタの適切な調整後に,フィルタが他のフィルタの集合とほぼ等しいことを示唆する,新しいフィルタプルーニング手法であるCentral Filter (CF)を提案する。 CFは様々なベンチマークネットワークやデータセットで最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-12-10T12:51:04Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。