論文の概要: MINT: Deep Network Compression via Mutual Information-based Neuron Trimming

• arxiv url: http://arxiv.org/abs/2003.08472v1
• Date: Wed, 18 Mar 2020 21:05:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 09:57:47.115753
• Title: MINT: Deep Network Compression via Mutual Information-based Neuron Trimming
• Title（参考訳）: MINT:相互情報に基づくニューロントリミングによるディープネットワーク圧縮
• Authors: Madan Ravi Ganesh, Jason J. Corso, Salimeh Yasaei Sekeh
• Abstract要約: Mutual Information-based Neuron Trimming (MINT) はプルーニングによる深部圧縮にアプローチする。 MINTは、隣り合う層のフィルタ間の関係の強さに基づいて間隔を強制する。 ネットワークを刈り取る際には、保持されたフィルタが後続層への情報の大部分に寄与することを保証します。
• 参考スコア（独自算出の注目度）: 32.449324736645586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most approaches to deep neural network compression via pruning either evaluate a filter's importance using its weights or optimize an alternative objective function with sparsity constraints. While these methods offer a useful way to approximate contributions from similar filters, they often either ignore the dependency between layers or solve a more difficult optimization objective than standard cross-entropy. Our method, Mutual Information-based Neuron Trimming (MINT), approaches deep compression via pruning by enforcing sparsity based on the strength of the relationship between filters of adjacent layers, across every pair of layers. The relationship is calculated using conditional geometric mutual information which evaluates the amount of similar information exchanged between the filters using a graph-based criterion. When pruning a network, we ensure that retained filters contribute the majority of the information towards succeeding layers which ensures high performance. Our novel approach outperforms existing state-of-the-art compression-via-pruning methods on the standard benchmarks for this task: MNIST, CIFAR-10, and ILSVRC2012, across a variety of network architectures. In addition, we discuss our observations of a common denominator between our pruning methodology's response to adversarial attacks and calibration statistics when compared to the original network.
• Abstract（参考訳）: プルーニングによるディープニューラルネットワーク圧縮へのほとんどのアプローチは、その重みを使ってフィルタの重要性を評価するか、あるいはスパシティ制約のある代替目的関数を最適化する。 これらの手法は、類似のフィルタからの貢献を近似する有用な方法を提供するが、しばしば層間の依存性を無視したり、標準的なクロスエントロピーよりもより難しい最適化目標を解決したりする。 我々の手法であるMINT(Multual Information-based Neuron Trimming)は,各層にまたがる隣接層間のフィルタの強度に基づいて,パーキングによる深部圧縮にアプローチする。 この関係は、グラフベースの基準を用いてフィルタ間で交換される類似情報量を評価する条件付き幾何相互情報を用いて算出される。 ネットワークをプルーニングする場合、保持されたフィルタが、高い性能を保証する後続層への情報の大部分に寄与することを保証する。 提案手法は,MNIST, CIFAR-10, ILSVRC2012など,様々なネットワークアーキテクチャの標準ベンチマークにおいて,既存の最先端圧縮処理手法よりも優れている。 さらに,本手法の逆攻撃に対する応答と,元のネットワークと比較した場合の校正統計との共通分母の観測について検討した。

関連論文リスト

• Filter Pruning via Filters Similarity in Consecutive Layers [20.29555787754269]
  畳み込みニューラルネットワーク(CNN)の圧縮と高速化にフィルタプルーニングが広く採用されている 我々は,FSCL(Consecutive Layers)におけるフィルタ類似性を明示的に活用して,新しいプルーニング手法を直感的に提案する。 実験によりFSCLの有効性が示され, 精度, FLOP, パラメータ還元に対する最先端技術よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2023-04-26T09:18:38Z)
• Network Pruning via Feature Shift Minimization [8.593369249204132]
  本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。 提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
  論文  参考訳（メタデータ） (2022-07-06T12:50:26Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Slimming Neural Networks using Adaptive Connectivity Scores [28.872080203221934]
  適応接続スコア(SNACS)を用いたスライミングニューラルネットワーク(Slimming Neural Network)と呼ばれる単発完全自動プルーニングアルゴリズムを提案する。 提案手法は,確率的プルーニングの枠組みを基礎となる重み行列の制約と組み合わせたものである。 SNACSは17倍以上高速である。
  論文  参考訳（メタデータ） (2020-06-22T17:45:16Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression [145.04742985050808]
  我々は,フィルタプルーニングと低ランク分解という2つの一般的なネットワーク圧縮手法を統一的に解析する。 スパシティ正規化の実施方法を変えることにより、フィルタプルーニングと低ランク分解を導出することができる。 われわれの手法は、いくつかのベンチマークにおける最先端の手法と比較し、その可能性を証明している。
  論文  参考訳（メタデータ） (2020-03-19T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。