論文の概要: On the Compression of Neural Networks Using $\ell_0$-Norm Regularization and Weight Pruning

• arxiv url: http://arxiv.org/abs/2109.05075v1
• Date: Fri, 10 Sep 2021 19:19:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:58:50.930458
• Title: On the Compression of Neural Networks Using $\ell_0$-Norm Regularization and Weight Pruning
• Title（参考訳）: $\ell_0$-norm正規化と重み打ちによるニューラルネットワークの圧縮について
• Authors: Felipe Dennis de Resende Oliveira, Eduardo Luiz Ortiz Batista, Rui Seara
• Abstract要約: 本稿では,ニューラルネットワークのための新しい圧縮スキームの開発に焦点をあてる。 新たな $ell_0$-norm-based regularization アプローチが最初に開発され,トレーニング中にネットワークのスパース性を強く引き出すことができる。 提案手法では、オーバーフィッティングを回避するために$ell$-norm正規化と、プルーンドネットワークの性能向上のための微調整も含む。
• 参考スコア（独自算出の注目度）: 1.0312968200748118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the growing availability of high-capacity computational platforms, implementation complexity still has been a great concern for the real-world deployment of neural networks. This concern is not exclusively due to the huge costs of state-of-the-art network architectures, but also due to the recent push towards edge intelligence and the use of neural networks in embedded applications. In this context, network compression techniques have been gaining interest due to their ability for reducing deployment costs while keeping inference accuracy at satisfactory levels. The present paper is dedicated to the development of a novel compression scheme for neural networks. To this end, a new $\ell_0$-norm-based regularization approach is firstly developed, which is capable of inducing strong sparseness in the network during training. Then, targeting the smaller weights of the trained network with pruning techniques, smaller yet highly effective networks can be obtained. The proposed compression scheme also involves the use of $\ell_2$-norm regularization to avoid overfitting as well as fine tuning to improve the performance of the pruned network. Experimental results are presented aiming to show the effectiveness of the proposed scheme as well as to make comparisons with competing approaches.
• Abstract（参考訳）: 高容量の計算プラットフォームが利用可能になったにもかかわらず、実装の複雑さは、ニューラルネットワークの現実的な展開にとって、依然として大きな関心事となっている。 この懸念は、最先端のネットワークアーキテクチャの膨大なコストによるものではなく、エッジインテリジェンスへの最近の取り組みや、組み込みアプリケーションにおけるニューラルネットワークの利用によるものだ。 この文脈において、ネットワーク圧縮技術は、十分なレベルの推論精度を維持しながら、デプロイメントコストを削減できることから、関心を集めている。 本稿では,ニューラルネットワークのための新しい圧縮スキームの開発に焦点をあてる。 この目的のために、トレーニング中にネットワークに強いスパース性を誘導できる新しい$\ell_0$-normベースの正規化手法が最初に開発された。 そして、訓練されたネットワークのより小さな重みをプルーニング技術で狙うことにより、より小さいが高効率なネットワークが得られる。 提案手法では、オーバーフィッティングを回避するために$\ell_2$-norm正規化と、プルーンドネットワークの性能向上のための微調整も行う。 提案手法の有効性と競合する手法との比較を目的とした実験結果を示す。

関連論文リスト

• Efficient and Flexible Method for Reducing Moderate-size Deep Neural Networks with Condensation [36.41451383422967]
  科学的応用において、ニューラルネットワークのスケールは概して中規模であり、主に推論の速度を保証する。 既存の研究によると、ニューラルネットワークの強力な能力は、主に非線形性に起因する。 本稿では,本手法の有効性を検証するための凝縮低減アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-02T06:53:40Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks [9.554646174100123]
  本研究では, 勾配降下学習アルゴリズムの力学が圧縮性ネットワークの獲得に重要な役割を担っていることを示す。 我々は,ネットワークが「$ell_p$-compressible」であることが保証され,ネットワークサイズが大きくなるにつれて,異なるプルーニング手法の圧縮誤差が任意に小さくなることを示す。
  論文  参考訳（メタデータ） (2021-06-07T17:02:59Z)
• Attribution Preservation in Network Compression for Reliable Network Interpretation [81.84564694303397]
  安全に敏感なアプリケーションに埋め込まれたニューラルネットワークは、エッジ計算のサイズを減らすために、後向きの分析とネットワーク圧縮に入力属性に依存する。 ネットワーク圧縮が生成した属性を変形させるため,これらの非関係な手法が相互に競合することを示す。 この現象は、従来のネットワーク圧縮手法が、属性の品質を無視しながら、ネットワークの予測のみを保存するという事実から生じる。
  論文  参考訳（メタデータ） (2020-10-28T16:02:31Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Weight Pruning via Adaptive Sparsity Loss [31.978830843036658]
  近年、最先端のディープニューラルネットワークを圧縮する手段として、プルーニングニューラルネットワークが注目を集めている。 本稿では,ネットワークパラメータを最小限の計算オーバーヘッドで効率的に学習する頑健な学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-04T10:55:16Z)
• Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
  本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。 提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
  論文  参考訳（メタデータ） (2020-05-10T03:20:01Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。