論文の概要: Soft Threshold Weight Reparameterization for Learnable Sparsity

• arxiv url: http://arxiv.org/abs/2002.03231v9
• Date: Mon, 22 Jun 2020 23:37:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 22:11:21.900523
• Title: Soft Threshold Weight Reparameterization for Learnable Sparsity
• Title（参考訳）: 学習可能なスパース性に対するソフトしきい値重み再パラメータ化
• Authors: Aditya Kusupati, Vivek Ramanujan, Raghav Somani, Mitchell Wortsman, Prateek Jain, Sham Kakade, Ali Farhadi
• Abstract要約: 本稿では,ソフトスレッショルド演算子の推論重みに対する新しい利用法STRを提案する。 STRはプルーニング閾値を学習しながらスペーサを円滑に誘導し、不均一なスペーサ性予算を得る。 提案手法は,CNNの非構造的間隔に対する最先端の精度(ImageNet-1K上のResNet50とMobileNetV1)を実現し,FLOPを最大50%削減する一様でない予算を学習する。
• 参考スコア（独自算出の注目度）: 46.419079691593396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparsity in Deep Neural Networks (DNNs) is studied extensively with the focus of maximizing prediction accuracy given an overall parameter budget. Existing methods rely on uniform or heuristic non-uniform sparsity budgets which have sub-optimal layer-wise parameter allocation resulting in a) lower prediction accuracy or b) higher inference cost (FLOPs). This work proposes Soft Threshold Reparameterization (STR), a novel use of the soft-threshold operator on DNN weights. STR smoothly induces sparsity while learning pruning thresholds thereby obtaining a non-uniform sparsity budget. Our method achieves state-of-the-art accuracy for unstructured sparsity in CNNs (ResNet50 and MobileNetV1 on ImageNet-1K), and, additionally, learns non-uniform budgets that empirically reduce the FLOPs by up to 50%. Notably, STR boosts the accuracy over existing results by up to 10% in the ultra sparse (99%) regime and can also be used to induce low-rank (structured sparsity) in RNNs. In short, STR is a simple mechanism which learns effective sparsity budgets that contrast with popular heuristics. Code, pretrained models and sparsity budgets are at https://github.com/RAIVNLab/STR.
• Abstract（参考訳）: Deep Neural Networks (DNN) におけるスパシティーは、全体的なパラメータ予算から予測精度を最大化することに焦点を当てて広く研究されている。 既存の手法は、最適層単位のパラメータ割り当てを持つ一様または一様でない不均一性予算に依存している。 a)低い予測精度または b)高い推論コスト(FLOP) 本研究は,DNN重みに対するソフト閾値演算子の新しい使用法であるソフト閾値パラメータ化(STR)を提案する。 STRはプルーニング閾値を学習しながらスペーサを円滑に誘導し、不均一なスペーサ性予算を得る。 提案手法は,CNNにおける非構造的間隔に対する最先端の精度(ImageNet-1K上のResNet50とMobileNetV1)を実現するとともに,FLOPを最大50%削減する一様でない予算を学習する。 特にSTRは、超スパース(99%)レギュレーションで既存の結果の精度を最大10%向上させ、RNNの低ランク(構造的間隔)を誘導するためにも使用できる。 要するにSTRは、一般的なヒューリスティックとは対照的な効果的な空間予算を学習するシンプルなメカニズムである。 コード、事前トレーニングされたモデル、およびスパーシティ予算はhttps://github.com/RAIVNLab/STR.orgにある。

関連論文リスト

• AUTOSPARSE: Towards Automated Sparse Training of Deep Neural Networks [2.6742343015805083]
  本稿では,ニューラルネットワーク内に存在する空間の均一分布を探索するグラディエント・アナリング(GA)を提案する。 GAは、余剰を誘導する正規化を必要とせずに、余剰と正確性の間のエレガントなトレードオフを提供する。 GAと最新の学習可能なプルーニング手法を統合し、AutoSparseと呼ばれる自動スパーストレーニングアルゴリズムを作成する。
  論文  参考訳（メタデータ） (2023-04-14T06:19:07Z)
• Dynamic Sparse Training via Balancing the Exploration-Exploitation Trade-off [19.230329532065635]
  スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。 既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。 本研究では,動的スパース学習をスパース接続探索問題として考察する。 実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
  論文  参考訳（メタデータ） (2022-11-30T01:22:25Z)
• Training Recipe for N:M Structured Sparsity with Decaying Pruning Mask [8.02992650002693]
  モデル精度と計算コストのトレードオフの観点から,N:M空間の様々なトレーニングレシピについて検討し,評価を行った。 我々は,2つの新しい崩壊に基づくプルーニング法,すなわち「プルーニングマスク崩壊」と「スパース構造崩壊」を提案する。 評価の結果,提案手法は非構造空間に匹敵する精度のSOTA(State-of-the-art)モデルを実現することがわかった。
  論文  参考訳（メタデータ） (2022-09-15T21:30:55Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
  HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。 各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
  論文  参考訳（メタデータ） (2020-09-17T09:23:36Z)
• TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
  低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。 サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。 TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
  論文  参考訳（メタデータ） (2020-04-30T03:37:36Z)
• Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism Principled Robust Deep Neural Nets [13.102014808597264]
  本稿では、堅牢で正確なディープラーニングのための効率的な圧縮アルゴリズムとスパースニューラルネットワークの共設計に焦点を当てる。 緩和されたラグランジアンベースのアルゴリズムを利用して、敵に訓練されたDNNの重みを推定する。 The Feynman-Kac formalism was fundamentald robust and sparse DNNs, we can least double the channel sparsity of the adversarially trained ResNet20 for CIFAR10 classification。
  論文  参考訳（メタデータ） (2020-03-02T02:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。