論文の概要: Improving Network Slimming with Nonconvex Regularization

• arxiv url: http://arxiv.org/abs/2010.01242v4
• Date: Wed, 18 Aug 2021 23:51:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 09:11:15.627815
• Title: Improving Network Slimming with Nonconvex Regularization
• Title（参考訳）: 非凸規則化によるネットワークスライミングの改善
• Authors: Kevin Bui, Fredrick Park, Shuai Zhang, Yingyong Qi, Jack Xin
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、様々なコンピュータビジョンタスクの強力なモデルとなるために開発された。 最先端のCNNの多くは直接デプロイすることはできない。 CNNを圧縮する簡単な方法が提案されている。
• 参考スコア（独自算出の注目度）: 8.017631543721684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional neural networks (CNNs) have developed to become powerful models for various computer vision tasks ranging from object detection to semantic segmentation. However, most of the state-of-the-art CNNs cannot be deployed directly on edge devices such as smartphones and drones, which need low latency under limited power and memory bandwidth. One popular, straightforward approach to compressing CNNs is network slimming, which imposes $\ell_1$ regularization on the channel-associated scaling factors via the batch normalization layers during training. Network slimming thereby identifies insignificant channels that can be pruned for inference. In this paper, we propose replacing the $\ell_1$ penalty with an alternative nonconvex, sparsity-inducing penalty in order to yield a more compressed and/or accurate CNN architecture. We investigate $\ell_p (0 < p < 1)$, transformed $\ell_1$ (T$\ell_1$), minimax concave penalty (MCP), and smoothly clipped absolute deviation (SCAD) due to their recent successes and popularity in solving sparse optimization problems, such as compressed sensing and variable selection. We demonstrate the effectiveness of network slimming with nonconvex penalties on three neural network architectures -- VGG-19, DenseNet-40, and ResNet-164 -- on standard image classification datasets. Based on the numerical experiments, T$\ell_1$ preserves model accuracy against channel pruning, $\ell_{1/2, 3/4}$ yield better compressed models with similar accuracies after retraining as $\ell_1$, and MCP and SCAD provide more accurate models after retraining with similar compression as $\ell_1$. Network slimming with T$\ell_1$ regularization also outperforms the latest Bayesian modification of network slimming in compressing a CNN architecture in terms of memory storage while preserving its model accuracy after channel pruning.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、オブジェクト検出からセマンティックセグメンテーションまで、さまざまなコンピュータビジョンタスクの強力なモデルとなるために開発された。 しかし、最先端のcnnの多くはスマートフォンやドローンのようなエッジデバイスに直接配置することはできない。 cnnを圧縮する一般的な方法の一つがネットワークスリム化であり、トレーニング中にバッチ正規化層を介してチャネルに関連するスケーリング係数に$\ell_1$の正規化を課す。 ネットワークスリム化は、推論のために刈り取ることができる無意味なチャネルを識別する。 本稿では,より圧縮され正確なCNNアーキテクチャを実現するために,$\ell_1$ペナルティを代替の非凸,空間誘導ペナルティに置き換えることを提案する。 圧縮センシングや可変選択といったスパース最適化問題における最近の成功と人気により, $\ell_p (0 < p < 1)$, transform $\ell_1$ (T$\ell_1$), minimax concave penalty (MCP), and smoothly clipped absolute deviation (SCAD) を検討した。 我々は,VGG-19,DenseNet-40,ResNet-164という3つのニューラルネットワークアーキテクチャの標準画像分類データセットにおける非凸ペナルティによるネットワークスリム化の有効性を示した。 数値実験に基づいて、T$\ell_1$は、チャネルプルーニングに対するモデル精度を保ち、$\ell_1/2, 3/4}$は、$\ell_1$として再トレーニングした後に、類似の精度でより良い圧縮モデルを得る。 T$\ell_1$正規化によるネットワークスリムは、チャネルプルーニング後のモデル精度を維持しながら、CNNアーキテクチャの圧縮において、最新のベイズ的なネットワークスリム化よりも優れている。

関連論文リスト

• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• A Proximal Algorithm for Network Slimming [2.8148957592979427]
  畳み込みニューラルネットワーク(CNN)の一般的なチャネルプルーニング法は、CNNの訓練に段階的な降下を用いる。 我々は、CNNをスパースで正確な構造に向けて訓練するための、近位NSと呼ばれる代替アルゴリズムを開発した。 実験の結果,1ラウンドのトレーニングの後,近位NSは競争精度と圧縮性を備えたCNNが得られることがわかった。
  論文  参考訳（メタデータ） (2023-07-02T23:34:12Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• Structured Pruning is All You Need for Pruning CNNs at Initialization [38.88730369884401]
  プルーニングは畳み込みニューラルネットワーク(CNN)のモデルサイズと計算コストを削減する一般的な手法である ハードウェア効率の良いモデル圧縮方式であるPreCroppingを提案する。 重み付けと比較して, 提案手法は, 精度を犠牲にすることなく, 記憶と計算の両面において規則的で密度が高い。
  論文  参考訳（メタデータ） (2022-03-04T19:54:31Z)
• Tied & Reduced RNN-T Decoder [0.0]
  認識性能を低下させることなく,RNN-Tデコーダ(予測ネットワーク+ジョイントネットワーク)の小型化と高速化を図る。 我々の予測ネットワークは入力埋め込みの簡単な重み付けを行い、その埋め込み行列重みを結合ネットワークの出力層と共有する。 このシンプルな設計は、追加の編集ベースの最小ベイズリスク(EMBR)トレーニングと併用することで、ワードエラー率(WER)に影響を与えることなく、RNN-Tデコーダを23Mパラメータから2Mに削減する。
  論文  参考訳（メタデータ） (2021-09-15T18:19:16Z)
• Tensor Reordering for CNN Compression [7.228285747845778]
  畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。 提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:45:34Z)
• Large Norms of CNN Layers Do Not Hurt Adversarial Robustness [11.930096161524407]
  畳み込みニューラルネットワーク(CNN)のリプシッツ特性は、敵の強靭性と関連していると考えられている。 本稿では,畳み込み層と完全連結層のノルムを効果的に低減できるノルム崩壊という新しい正規化手法を提案する。 実験により、ノルム崩壊、重み劣化、特異値クリッピングを含むノルム正規化法がCNNの一般化を改善することが示されている。
  論文  参考訳（メタデータ） (2020-09-17T17:33:50Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。