Fugu-MT 論文翻訳(概要): AUTOSPARSE: Towards Automated Sparse Training of Deep Neural Networks

論文の概要: AUTOSPARSE: Towards Automated Sparse Training of Deep Neural Networks

arxiv url: http://arxiv.org/abs/2304.06941v1
Date: Fri, 14 Apr 2023 06:19:07 GMT
ステータス: 処理完了
システム内更新日: 2023-04-17 14:32:23.703243
Title: AUTOSPARSE: Towards Automated Sparse Training of Deep Neural Networks
Title（参考訳）: AUTOSPARSE:ディープニューラルネットワークの自動スパーストレーニングに向けて
Authors: Abhisek Kundu, Naveen K. Mellempudi, Dharma Teja Vooturi, Bharat Kaul, Pradeep Dubey
Abstract要約: 本稿では,ニューラルネットワーク内に存在する空間の均一分布を探索するグラディエント・アナリング(GA)を提案する。 GAは、余剰を誘導する正規化を必要とせずに、余剰と正確性の間のエレガントなトレードオフを提供する。 GAと最新の学習可能なプルーニング手法を統合し、AutoSparseと呼ばれる自動スパーストレーニングアルゴリズムを作成する。
参考スコア（独自算出の注目度）: 2.6742343015805083
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sparse training is emerging as a promising avenue for reducing the computational cost of training neural networks. Several recent studies have proposed pruning methods using learnable thresholds to efficiently explore the non-uniform distribution of sparsity inherent within the models. In this paper, we propose Gradient Annealing (GA), where gradients of masked weights are scaled down in a non-linear manner. GA provides an elegant trade-off between sparsity and accuracy without the need for additional sparsity-inducing regularization. We integrated GA with the latest learnable pruning methods to create an automated sparse training algorithm called AutoSparse, which achieves better accuracy and/or training/inference FLOPS reduction than existing learnable pruning methods for sparse ResNet50 and MobileNetV1 on ImageNet-1K: AutoSparse achieves (2x, 7x) reduction in (training,inference) FLOPS for ResNet50 on ImageNet at 80% sparsity. Finally, AutoSparse outperforms sparse-to-sparse SotA method MEST (uniform sparsity) for 80% sparse ResNet50 with similar accuracy, where MEST uses 12% more training FLOPS and 50% more inference FLOPS.
Abstract（参考訳）: スパーストレーニングは、ニューラルネットワークのトレーニングの計算コストを削減するための有望な手段として現れています。近年、モデル内に存在するスパーシティの非一様分布を効率的に探索するために学習可能なしきい値を用いた刈り取り法が提案されている。本稿では,マスクの重みの勾配を非線形にスケールダウンするグラディエントアナリング(GA)を提案する。 GAは、余剰を誘導する正規化を必要とせずに、余剰と精度の間のエレガントなトレードオフを提供する。 GAを最新の学習可能なプルーニング手法と統合し、AutoSparseと呼ばれる自動スパーストレーニングアルゴリズムを作成し、ImageNet-1K上の既存の学習可能なResNet50やMobileNetV1よりも精度と/またはトレーニング/推論のFLOPS削減を実現した。最後に、AutoSparseはSparse-to-sparse SotA法を80%のsparse ResNet50でパフォーマンスし、MESTは12%のトレーニングFLOPSと50%の推論FLOPSを使用する。

関連論文リスト

Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文参考訳（メタデータ） (2024-04-06T21:33:39Z)
Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文参考訳（メタデータ） (2023-09-29T13:09:40Z)
Dynamic Sparse Training via Balancing the Exploration-Exploitation Trade-off [19.230329532065635]
スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。本研究では,動的スパース学習をスパース接続探索問題として考察する。実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
論文参考訳（メタデータ） (2022-11-30T01:22:25Z)
Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
論文参考訳（メタデータ） (2022-08-08T21:24:20Z)
MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
論文参考訳（メタデータ） (2021-10-26T21:15:17Z)
Structured Directional Pruning via Perturbation Orthogonal Projection [13.704348351073147]
より合理的なアプローチは、NISTによって発見された平坦な最小の谷に沿ってスパース最小化器を見つけることである。平坦な最小の谷に摂動を投射する構造的指向性プルーニングを提案する。実験の結果,VGG16では93.97%,CIFAR-10タスクでは再トレーニングを行なわず,最先端のプルーニング精度が得られた。
論文参考訳（メタデータ） (2021-07-12T11:35:47Z)
Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文参考訳（メタデータ） (2021-06-18T01:03:13Z)
Post-training deep neural network pruning via layer-wise calibration [70.65691136625514]
本論文では,自動合成フラクタル画像に基づくコンピュータビジョンモデルに対するデータフリーな拡張を提案する。実データを使用する場合は、トレーニング後の設定で65%の間隔で8ビットの精度でImageNet上のResNet50モデルを取得できます。
論文参考訳（メタデータ） (2021-04-30T14:20:51Z)
Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文参考訳（メタデータ） (2021-01-20T06:18:38Z)
Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
論文参考訳（メタデータ） (2020-02-07T18:34:31Z)
Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators [0.04666493857924356]
本稿では, 段階的刈り込みによるCNNのスパース訓練について検討する。強制空間の構造を単純化し、正規化によるオーバーヘッドを低減する。本稿では,ResNet-50とResNet-50 v1.5のスパースバージョンをフルイメージネット上で生成し,1%の精度損失の範囲内に留まっていることを示す。
論文参考訳（メタデータ） (2020-01-09T23:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。