論文の概要: An Effective Information Theoretic Framework for Channel Pruning
- arxiv url: http://arxiv.org/abs/2408.16772v2
- Date: Mon, 2 Sep 2024 13:19:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-04 16:21:29.717868
- Title: An Effective Information Theoretic Framework for Channel Pruning
- Title（参考訳）: チャネルプルーニングのための効果的な情報理論フレームワーク
- Authors: Yihao Chen, Zefang Wang,
- Abstract要約: 本稿では,ニューラルネットの情報理論と解釈可能性を利用した新しいチャネルプルーニング手法を提案する。
CIFAR-10上で45.5%のFLOPを削減し、ResNet-56のパラメータを40.3%削除することで精度を0.21%向上させる。
- 参考スコア（独自算出の注目度）: 4.014774237233169
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Channel pruning is a promising method for accelerating and compressing convolutional neural networks. However, current pruning algorithms still remain unsolved problems that how to assign layer-wise pruning ratios properly and discard the least important channels with a convincing criterion. In this paper, we present a novel channel pruning approach via information theory and interpretability of neural networks. Specifically, we regard information entropy as the expected amount of information for convolutional layers. In addition, if we suppose a matrix as a system of linear equations, a higher-rank matrix represents there exist more solutions to it, which indicates more uncertainty. From the point of view of information theory, the rank can also describe the amount of information. In a neural network, considering the rank and entropy as two information indicators of convolutional layers, we propose a fusion function to reach a compromise of them, where the fusion results are defined as ``information concentration''. When pre-defining layer-wise pruning ratios, we employ the information concentration as a reference instead of heuristic and engineering tuning to provide a more interpretable solution. Moreover, we leverage Shapley values, which are a potent tool in the interpretability of neural networks, to evaluate the channel contributions and discard the least important channels for model compression while maintaining its performance. Extensive experiments demonstrate the effectiveness and promising performance of our method. For example, our method improves the accuracy by 0.21% when reducing 45.5% FLOPs and removing 40.3% parameters for ResNet-56 on CIFAR-10. Moreover, our method obtains loss in Top-1/Top-5 accuracies of 0.43%/0.11% by reducing 41.6% FLOPs and removing 35.0% parameters for ResNet-50 on ImageNet.
- Abstract（参考訳）: チャネルプルーニングは畳み込みニューラルネットワークの高速化と圧縮のための有望な方法である。
しかし、現在のプルーニングアルゴリズムは、レイヤーワイズプルーニング比を適切に割り当て、説得力のある基準で最も重要でないチャネルを破棄する方法が未解決のままである。
本稿では,ニューラルネットの情報理論と解釈可能性を用いた新しいチャネルプルーニング手法を提案する。
具体的には,情報エントロピーを,畳み込み層において期待される情報量とみなす。
さらに、行列を線型方程式の系と仮定すると、高階行列はそれに対してより多くの解が存在することを示し、より不確実性を示す。
情報理論の観点からは、ランクは情報量を記述することもできる。
ニューラルネットワークにおいて、畳み込み層の2つの情報指標としてランクとエントロピーを考慮し、融合結果を「情報集中」と定義する、それらの妥協点に達するための融合関数を提案する。
レイヤワイズプルーニング比を事前に定義する場合、情報集中をヒューリスティックな工学的チューニングの代わりに参照として使用し、より解釈可能なソリューションを提供する。
さらに、ニューラルネットワークの解釈可能性において強力なツールであるShapley値を利用して、チャネルコントリビューションを評価し、その性能を維持しながら、モデル圧縮の最も重要でないチャネルを破棄する。
大規模な実験により,本手法の有効性と有望な性能が示された。
例えば、45.5%のFLOPを削減し、CIFAR-10上でResNet-56のパラメータを40.3%削除すると、精度が0.21%向上する。
さらに,Top-1/Top-5の精度0.43%/0.11%の損失を,41.6%のFLOPを削減し,ImageNet上でResNet-50のパラメータを35.0%削除することで得る。
関連論文リスト
- Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。
本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。
スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文 参考訳（メタデータ） (2024-04-06T21:33:39Z) - Group channel pruning and spatial attention distilling for object
detection [2.8675002818821542]
動的スパーストレーニング,グループチャネルプルーニング,空間アテンション蒸留という3段階モデル圧縮手法を提案する。
本手法は,モデルのパラメータを64.7%削減し,計算量を34.9%削減する。
論文 参考訳（メタデータ） (2023-06-02T13:26:23Z) - Q-DETR: An Efficient Low-Bit Quantized Detection Transformer [50.00784028552792]
Q-DETRのボトルネックは、我々の経験的分析によるクエリ情報の歪みから生じる。
情報ボトルネック(IB)の原理をQ-DETRの学習に一般化することで導出できる2レベル最適化問題としてDRDを定式化する。
本研究では,教師情報を蒸留所要の機能に効果的に転送し,条件情報エントロピーを最小化する,フォアグラウンド対応クエリマッチング手法を提案する。
論文 参考訳（メタデータ） (2023-04-01T08:05:14Z) - Distribution-sensitive Information Retention for Accurate Binary Neural
Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。
我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。
我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文 参考訳（メタデータ） (2021-09-25T10:59:39Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - Model Pruning Based on Quantified Similarity of Feature Maps [5.271060872578571]
3次元テンソルに冗長な情報を見つけるための新しい理論を提案する。
この理論を畳み込みニューラルネットワークを駆使して推論速度を向上させる。
論文 参考訳（メタデータ） (2021-05-13T02:57:30Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence
Optimization for CNN [6.662639002101124]
近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。
既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。
新規な自動チャネル切断法(ACP)を提案する。
ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
論文 参考訳（メタデータ） (2021-01-16T08:56:38Z) - Gradual Channel Pruning while Training using Feature Relevance Scores
for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。
そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。
本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文 参考訳（メタデータ） (2020-02-23T17:56:18Z) - Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。
われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。
CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文 参考訳（メタデータ） (2020-01-23T13:57:08Z) - Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。
本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。
画像分類と顔認識の両方の実験により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-01-04T07:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。