論文の概要: Filter Pruning based on Information Capacity and Independence

• arxiv url: http://arxiv.org/abs/2303.03645v2
• Date: Wed, 12 Jun 2024 08:05:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 01:52:33.865134
• Title: Filter Pruning based on Information Capacity and Independence
• Title（参考訳）: 情報容量と独立性に基づくフィルタプルーニング
• Authors: Xiaolong Tang, Shuo Ye, Yufeng Shi, Tianheng Hu, Qinmu Peng, Xinge You,
• Abstract要約: 本稿では,フィルタを解釈可能,マルチパースペクティブ,軽量な方法で選択する新しいフィルタプルーニング手法を提案する。 各フィルタに含まれる情報量について,情報容量と呼ばれる新しい指標を提案する。 フィルタ間の相関について、情報独立と呼ばれる別の指標が設計されている。
• 参考スコア（独自算出の注目度）: 11.411996979581295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Filter pruning has gained widespread adoption for the purpose of compressing and speeding up convolutional neural networks (CNNs). However, existing approaches are still far from practical applications due to biased filter selection and heavy computation cost. This paper introduces a new filter pruning method that selects filters in an interpretable, multi-perspective, and lightweight manner. Specifically, we evaluate the contributions of filters from both individual and overall perspectives. For the amount of information contained in each filter, a new metric called information capacity is proposed. Inspired by the information theory, we utilize the interpretable entropy to measure the information capacity, and develop a feature-guided approximation process. For correlations among filters, another metric called information independence is designed. Since the aforementioned metrics are evaluated in a simple but effective way, we can identify and prune the least important filters with less computation cost. We conduct comprehensive experiments on benchmark datasets employing various widely-used CNN architectures to evaluate the performance of our method. For instance, on ILSVRC-2012, our method outperforms state-of-the-art methods by reducing FLOPs by 77.4% and parameters by 69.3% for ResNet-50 with only a minor decrease in accuracy of 2.64%.
• Abstract（参考訳）: フィルタプルーニングは畳み込みニューラルネットワーク(CNN)の圧縮と高速化を目的として広く採用されている。 しかし, 従来の手法は, 偏りのあるフィルタ選択や計算コストの重いため, 実用化には程遠い。 本稿では,フィルタを解釈可能,マルチパースペクティブ,軽量な方法で選択する新しいフィルタプルーニング手法を提案する。 具体的には,個人的および全体的視点からフィルタの寄与を評価する。 各フィルタに含まれる情報量について,情報容量と呼ばれる新しい指標を提案する。 情報理論にヒントを得て,解釈可能なエントロピーを用いて情報容量を測定し,特徴誘導近似プロセスを開発する。 フィルタ間の相関について、情報独立と呼ばれる別の指標が設計されている。 上記のメトリクスは、単純だが効果的な方法で評価されるので、計算コストを抑えて、最も重要でないフィルタを識別およびプーンすることができる。 各種CNNアーキテクチャを用いたベンチマークデータセットの総合的な実験を行い,本手法の性能評価を行った。 例えば、ILSVRC-2012では、FLOPを77.4%削減し、ResNet-50ではパラメータを69.3%削減し、精度は2.64%に低下する。

関連論文リスト

• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Beta-Rank: A Robust Convolutional Filter Pruning Method For Imbalanced Medical Image Analysis [1.3443196224057659]
  ディープニューラルネットワークには、多数のパラメータと操作が含まれている。 計算資源が限られているデバイス上でこれらのモデルを実装するのは困難である。 本研究では,フィルタの入力と出力を,不均衡なデータセットを扱うフィルタの値とともに考慮し,新しいフィルタプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-15T03:05:47Z)
• Efficient CNNs via Passive Filter Pruning [23.661189257759535]
  畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。 CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。 CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
  論文  参考訳（メタデータ） (2023-04-05T09:19:19Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。