論文の概要: Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2011.02389v1
• Date: Wed, 4 Nov 2020 16:29:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 21:38:02.214401
• Title: Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
• Title（参考訳）: 階層群スパース正規化を用いた深層畳み込みニューラルネットワークのフィルタプルーニング
• Authors: Kakeru Mitsuno and Takio Kurita
• Abstract要約: 階層型群スパース正規化を用いたフィルタプルーニング法を提案する。 CIFAR-10ではResNetの50%以上のパラメータを削減できるが、テストサンプルの精度は0.3%しか低下しない。 また、TinyImageNet-200では、ResNetの34%のパラメータがベースラインネットワークよりも高い精度で削減されている。
• 参考スコア（独自算出の注目度）: 3.5636461829966093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the convolutional neural networks are often trained with redundant parameters, it is possible to reduce redundant kernels or filters to obtain a compact network without dropping the classification accuracy. In this paper, we propose a filter pruning method using the hierarchical group sparse regularization. It is shown in our previous work that the hierarchical group sparse regularization is effective in obtaining sparse networks in which filters connected to unnecessary channels are automatically close to zero. After training the convolutional neural network with the hierarchical group sparse regularization, the unnecessary filters are selected based on the increase of the classification loss of the randomly selected training samples to obtain a compact network. It is shown that the proposed method can reduce more than 50% parameters of ResNet for CIFAR-10 with only 0.3% decrease in the accuracy of test samples. Also, 34% parameters of ResNet are reduced for TinyImageNet-200 with higher accuracy than the baseline network.
• Abstract（参考訳）: 畳み込みニューラルネットワークは、しばしば冗長なパラメータで訓練されるため、冗長なカーネルやフィルタを削減して、分類精度を落とさずにコンパクトなネットワークを得ることができる。 本稿では,階層型群スパース正規化を用いたフィルタプルーニング手法を提案する。 従来の研究では,不要チャネルに接続されたフィルタが自動的に0に近いスパースネットワークを得る際に,階層群スパース正規化が有効であることを示した。 階層群スパース正規化による畳み込みニューラルネットワークのトレーニング後、ランダムに選択されたトレーニングサンプルの分類損失の増加に基づいて不要フィルタを選択し、コンパクトなネットワークを得る。 提案手法は, CIFAR-10におけるResNetのパラメータを50%以上削減できるが, 試料の精度は0.3%しか低下しない。 また、ベースラインネットワークよりも精度の高いtinyimagenet-200では、34%のresnetパラメータが削減される。

関連論文リスト

• Structured Network Pruning by Measuring Filter-wise Interactions [6.037167142826297]
  SNPFI (Structured Network Pruning by Measurement filter-wise Interaction) を用いた構造化ネットワークプルーニング手法を提案する。 刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当てる。 我々はSNPFIの有効性をいくつかの一般的なCNNモデルで実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-03T05:26:05Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• OrthoReg: Robust Network Pruning Using Orthonormality Regularization [7.754712828900727]
  本稿では,ネットワークフィルタの正則性を強制し,フィルタ間の相関を小さくする原理的正規化戦略を提案する。 VGG-13、MobileNet-V1、ResNet-34の反復的なプルーニングに使用する場合、OrthoRegは5つのベースライン技術より一貫して優れている。
  論文  参考訳（メタデータ） (2020-09-10T17:21:21Z)
• Cross-filter compression for CNN inference acceleration [4.324080238456531]
  畳み込み処理において,$sim32times$メモリと$122times$メモリを節約できる新しいクロスフィルタ圧縮法を提案する。 CIFAR-10 と ImageNet のデータセットを用いて,Binary-Weight と XNOR-Net を別々に評価した。
  論文  参考訳（メタデータ） (2020-05-18T19:06:14Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。