論文の概要: Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning

• arxiv url: http://arxiv.org/abs/2004.11627v3
• Date: Mon, 25 Oct 2021 13:06:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 02:49:26.673130
• Title: Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning
• Title（参考訳）: Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning
• Authors: Zhongzhan Huang, Wenqi Shao, Xinjiang Wang, Liang Lin, Ping Luo
• Abstract要約: 刈り取り基準の研究には2つの盲点がある。 フィルタのランク'Importance Score'はほぼ同じで、同様に刈り取られた構造になる。 いくつかのプルーニング基準で測定されたフィルタ'Importance Score'は、ネットワークの冗長性をよく区別するには近すぎる。
• 参考スコア（独自算出の注目度）: 90.2947802490534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Channel pruning is a popular technique for compressing convolutional neural networks (CNNs), where various pruning criteria have been proposed to remove the redundant filters. From our comprehensive experiments, we found two blind spots in the study of pruning criteria: (1) Similarity: There are some strong similarities among several primary pruning criteria that are widely cited and compared. According to these criteria, the ranks of filters'Importance Score are almost identical, resulting in similar pruned structures. (2) Applicability: The filters'Importance Score measured by some pruning criteria are too close to distinguish the network redundancy well. In this paper, we analyze these two blind spots on different types of pruning criteria with layer-wise pruning or global pruning. The analyses are based on the empirical experiments and our assumption (Convolutional Weight Distribution Assumption) that the well-trained convolutional filters each layer approximately follow a Gaussian-alike distribution. This assumption has been verified through systematic and extensive statistical tests.
• Abstract（参考訳）: チャネルプルーニングは畳み込みニューラルネットワーク(CNN)を圧縮する一般的な手法であり、冗長フィルタを取り除くために様々なプルーニング基準が提案されている。 包括的実験から, 刈り取り基準の研究において2つの盲点が見つかった。(1)類似性: 広く引用され比較されているいくつかの一次刈り基準に強い類似点がある。 これらの基準により、フィルタのImportance Scoreのランクはほぼ同じであり、同様に刈り取られた構造になる。 2) 適用性: いくつかのプルーニング基準で測定されたフィルタ'importance score はネットワーク冗長性をよく区別するには近すぎる。 本稿では,これら2つの盲点を,層状プルーニングやグローバルプルーニングを用いて異なるプルーニング基準に基づいて解析する。 解析は,各層によく訓練された畳み込みフィルタがガウス分布にほぼ従うという経験的実験と仮定(畳み込み重量分布仮定)に基づいている。 この仮定は体系的かつ広範な統計試験によって検証されている。

関連論文リスト

• Balanced Classification: A Unified Framework for Long-Tailed Object Detection [74.94216414011326]
  従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。 本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。 BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-08-04T09:11:07Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Toward domain generalized pruning by scoring out-of-distribution importance [19.26591372002258]
  フィルタプルーニングは、畳み込みニューラルネットワークの圧縮に広く使われ、デプロイメント段階での計算コストを削減している。 我々は、広範囲にわたる実験実験を行い、フィルタープルーニング後にドメイン内性能を維持できるが、クロスドメイン性能は大幅に低下することを明らかにした。 実験により,同じプルーニング比下では,ベースラインフィルタプルーニング法よりもクロスドメインの一般化性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-10-25T07:36:55Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Improve Convolutional Neural Network Pruning by Maximizing Filter Variety [0.0]
  ニューラルネットワークプルーニングは、モデルストレージと計算要求を減らすために広く利用されている戦略である。 l1ノルムやムーブメントのような一般的なプルーニング基準は、フィルターの個々の効用を考慮しないのが普通である。 本稿では,これらの2つの課題を解決し,どのプルーニング基準にも適用できる手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:59Z)
• A useful criterion on studying consistent estimation in community detection [0.0]
  我々は,標準ネットワークにおける分離条件とErd"os-R'enyiランダムグラフのシャープしきい値を用いて一貫した推定を行う。 分離条件には矛盾する現象があり, コミュニティ検出では鋭い閾値がみられた。 その結果、エラー率を小さくし、コミュニティ数への依存を少なくし、ネットワークの疎結合性に対する要求を弱めることができた。
  論文  参考訳（メタデータ） (2021-09-30T09:27:48Z)
• Blending Pruning Criteria for Convolutional Neural Networks [13.259106518678474]
  近年のネットワークプルーニングは,モデルの冗長性を低減するための有効な手法である。 ある基準に従って1つのフィルタが重要になりうるが、別の基準によっては不要であり、これは各基準が包括的「重要度」の部分的なビューであることを示している。 本稿では,既存のフィルタプルーニング基準を統合するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-07-11T12:34:19Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。