論文の概要: Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch

• arxiv url: http://arxiv.org/abs/2102.04010v1
• Date: Mon, 8 Feb 2021 05:55:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 15:26:11.074003
• Title: Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch
• Title（参考訳）: スクラッチからN:M微細構造スパースニューラルネットワークを学習する
• Authors: Aojun Zhou, Yukun Ma, Junnan Zhu, Jianbo Liu, Zhijie Zhang, Kun Yuan, Wenxiu Sun, Hongsheng Li
• Abstract要約: ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
• 参考スコア（独自算出の注目度）: 75.69506249886622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparsity in Deep Neural Networks (DNNs) has been widely studied to compress and accelerate the models on resource-constrained environments. It can be generally categorized into unstructured fine-grained sparsity that zeroes out multiple individual weights distributed across the neural network, and structured coarse-grained sparsity which prunes blocks of sub-networks of a neural network. Fine-grained sparsity can achieve a high compression ratio but is not hardware friendly and hence receives limited speed gains. On the other hand, coarse-grained sparsity cannot concurrently achieve both apparent acceleration on modern GPUs and decent performance. In this paper, we are the first to study training from scratch an N:M fine-grained structured sparse network, which can maintain the advantages of both unstructured fine-grained sparsity and structured coarse-grained sparsity simultaneously on specifically designed GPUs. Specifically, a 2:4 sparse network could achieve 2x speed-up without performance drop on Nvidia A100 GPUs. Furthermore, we propose a novel and effective ingredient, sparse-refined straight-through estimator (SR-STE), to alleviate the negative influence of the approximated gradients computed by vanilla STE during optimization. We also define a metric, Sparse Architecture Divergence (SAD), to measure the sparse network's topology change during the training process. Finally, We justify SR-STE's advantages with SAD and demonstrate the effectiveness of SR-STE by performing comprehensive experiments on various tasks. Source codes and models are available at https://github.com/NM-sparsity/NM-sparsity.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)におけるスパーシティーは、資源制約環境におけるモデルを圧縮および加速するために広く研究されている。 一般に、ニューラルネットワークに分散した複数の個々の重みをゼロにする非構造化細粒度と、ニューラルネットワークのサブネットワークのブロックを汚染する構造化粗粒度に分けられる。 微細な粒度は高い圧縮比を達成できるが、ハードウェアフレンドリーではないため、速度の利得が制限される。 一方、粗粒度の粗さは、現代のGPUにおける明らかな加速度と十分な性能の両方を同時に達成できない。 本稿では,非構造化細粒度と構造粗粒度の両方のアドバンテージを,特別に設計されたgpu上で同時に維持できるn:m細粒度構造スパースネットワークをスクラッチから検討した。 具体的には、2:4のスパースネットワークはnvidia a100 gpuのパフォーマンス低下なしに2倍のスピードアップを達成できる。 さらに,バニラSTEの最適化における近似勾配の負の影響を軽減するために,スパース精製ストレートスルー推定器(SR-STE)を提案する。 また、トレーニングプロセス中にスパースネットワークのトポロジ変化を測定するために、メトリクスであるSparse Architecture Divergence(SAD)を定義します。 最後に、SR-STEの利点をSADで正当化し、様々なタスクで包括的な実験を行うことでSR-STEの有効性を実証します。 ソースコードとモデルはhttps://github.com/NM-sparsity/NM-sparsityで入手できる。

関連論文リスト

• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
  ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。 チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。 提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
  論文  参考訳（メタデータ） (2023-05-30T23:33:45Z)
• Dynamic Sparse Training with Structured Sparsity [11.778353786208765]
  ダイナミックスパーストレーニング(DST)法は、スパースニューラルネットワークトレーニングにおいて最先端の結果を達成する。 本研究では, 微細構造N:M空間の変形を学習するために, スパース・ツー・スパースDST法, Structured RigL (SRigL)を提案する。 オンライン推論用CPUでは3.4x/2.5x、GPUでは1.7x/13.0x、バッチサイズは256である。
  論文  参考訳（メタデータ） (2023-05-03T17:48:55Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• FSCNN: A Fast Sparse Convolution Neural Network Inference System [31.474696818171953]
  畳み込みニューラルネットワーク(CNN)は目覚ましい成功を収めているが、通常は高い計算コストと多くの冗長な重みパラメータが伴う。 FLOPを小さくするためには、粗粒の粗さを導入して隠蔽構造全体を除去する構造刈りが一般的である。 圧縮されたCNNの微細な粒度を利用した効率的な畳み込みニューラルネットワーク推論システムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T06:44:58Z)
• Speedup deep learning models on GPU by taking advantage of efficient unstructured pruning and bit-width reduction [0.0]
  この研究は、いくつかの畳み込みニューラルネットワーク(CNN)の刈り取りと、グラフィック処理ユニット(GPU)におけるそれらの効率の改善に焦点を当てている。 Nvidia Deep Neural Network(cuDnn)ライブラリは、GPUのためのディープラーニングアルゴリズム(DL)の最も効果的な実装である。
  論文  参考訳（メタデータ） (2021-12-28T19:36:41Z)
• HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
  ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。 提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。 トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
  論文  参考訳（メタデータ） (2020-08-24T04:08:48Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。