論文の概要: Neural Pruning via Growing Regularization

• arxiv url: http://arxiv.org/abs/2012.09243v2
• Date: Mon, 5 Apr 2021 19:37:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 03:12:20.750014
• Title: Neural Pruning via Growing Regularization
• Title（参考訳）: 成長正規化による神経プルーニング
• Authors: Huan Wang, Can Qin, Yulun Zhang, Yun Fu
• Abstract要約: プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
• 参考スコア（独自算出の注目度）: 82.9322109208353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization has long been utilized to learn sparsity in deep neural network pruning. However, its role is mainly explored in the small penalty strength regime. In this work, we extend its application to a new scenario where the regularization grows large gradually to tackle two central problems of pruning: pruning schedule and weight importance scoring. (1) The former topic is newly brought up in this work, which we find critical to the pruning performance while receives little research attention. Specifically, we propose an L2 regularization variant with rising penalty factors and show it can bring significant accuracy gains compared with its one-shot counterpart, even when the same weights are removed. (2) The growing penalty scheme also brings us an approach to exploit the Hessian information for more accurate pruning without knowing their specific values, thus not bothered by the common Hessian approximation problems. Empirically, the proposed algorithms are easy to implement and scalable to large datasets and networks in both structured and unstructured pruning. Their effectiveness is demonstrated with modern deep neural networks on the CIFAR and ImageNet datasets, achieving competitive results compared to many state-of-the-art algorithms. Our code and trained models are publicly available at https://github.com/mingsuntse/regularization-pruning.
• Abstract（参考訳）: 規則化は、深層ニューラルネットワークのプルーニングにおけるスパーシティを学ぶために長い間使われてきた。 しかし、その役割は主に小刑力体制で探究されている。 本研究では,プラニングの2つの中心的な問題である刈り取りスケジュールと重み付けの重要度に取り組むために,規則化が徐々に大きくなる新しいシナリオに応用を広げる。 1) 本研究では, 前者の話題が新たに持ち上げられ, 研究の注目がほとんどなく, 刈り上げ性能に批判的であることが判明した。 具体的には, ペナルティ係数が上昇するL2正則化変種を提案し, 同じ重みを除去しても, ワンショットの変種と比較して精度が向上することを示した。 2)増加傾向にあるペナルティスキームは,特定の値を知ることなく,より正確なプルーニングのためにヘッセン情報を活用するアプローチをもたらし,一般的なヘッセン近似の問題に悩まされることはない。 提案アルゴリズムは、構造化および非構造化プルーニングの両方において、大規模なデータセットやネットワークの実装が容易でスケーラブルである。 それらの効果は、CIFARとImageNetデータセット上の現代のディープニューラルネットワークで実証され、多くの最先端アルゴリズムと比較して競合的な結果が得られる。 私たちのコードとトレーニングされたモデルは、https://github.com/mingsuntse/regularization-pruning.comで公開されている。

関連論文リスト

• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• RED : Looking for Redundancies for Data-Free Structured Compression of Deep Neural Networks [36.027765880474526]
  我々は、構造化プルーニングに取り組むために、データフリーで構造化された統一的なアプローチREDを提案する。 まず、同一ニューロンの数を増やすために、スカラー重量分布密度を適応的にハッシュする手法を提案する。 第2に、それらの距離によって定義される相対的類似性に基づいて、冗長ニューロンをマージすることで、ネットワークを訓練する。 第3に,畳み込み層をさらに深層化するための不均一な分離手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T08:44:14Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• SRDCNN: Strongly Regularized Deep Convolution Neural Network Architecture for Time-series Sensor Signal Classification Tasks [4.950427992960756]
  SRDCNN: 時系列分類タスクを実行するために, SRDCNN(Strongly Regularized Deep Convolution Neural Network)をベースとしたディープアーキテクチャを提案する。 提案手法の新規性は、ネットワークウェイトが L1 と L2 のノルム法則によって正則化されることである。
  論文  参考訳（メタデータ） (2020-07-14T08:42:39Z)
• Progressive Skeletonization: Trimming more fat from a network at initialization [76.11947969140608]
  本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。 次に、目的を最大化する2つの近似手順を提案する。 提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-06-16T11:32:47Z)
• WoodFisher: Efficient Second-Order Approximation for Neural Network Compression [35.45199662813043]
  我々は、逆ヘッセンの忠実で効率的な推定法を開発する。 私たちの主な応用はニューラルネットワーク圧縮です。 本稿では,この手法をどのように拡張して1次情報を考慮するかを示す。
  論文  参考訳（メタデータ） (2020-04-29T17:14:23Z)
• How Not to Give a FLOP: Combining Regularization and Pruning for Efficient Inference [0.0]
  本稿では,Deep Neural Networks(DNN)における計算複雑性の低減とより効率的な推論のための正規化とプルーニングの併用について検討する。 ネットワークプルーニングと協調して正規化を行うことにより、これらの組み合わせは2つのテクニックをそれぞれ個別に大幅に改善することを示す。
  論文  参考訳（メタデータ） (2020-03-30T16:20:46Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。