Fugu-MT 論文翻訳(概要): Sparse Weight Activation Training

論文の概要: Sparse Weight Activation Training

arxiv url: http://arxiv.org/abs/2001.01969v3
Date: Sat, 31 Oct 2020 21:51:29 GMT
ステータス: 処理完了
システム内更新日: 2023-01-13 20:16:54.180798
Title: Sparse Weight Activation Training
Title（参考訳）: 軽度体重活性化訓練
Authors: Md Aamir Raihan, Tor M. Aamodt
Abstract要約: 我々は,新しいCNNトレーニングアルゴリズムSparse Weight Activation Training (SWAT)を提案する。 SWATは従来のトレーニングよりも計算とメモリ効率が高い。本稿では,最近のCNNアーキテクチャであるResNet,VGG,DenseNet,WideResNetのSWATを評価する。
参考スコア（独自算出の注目度）: 11.98034899127065
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural network training is computationally and memory intensive. Sparse training can reduce the burden on emerging hardware platforms designed to accelerate sparse computations, but it can affect network convergence. In this work, we propose a novel CNN training algorithm Sparse Weight Activation Training (SWAT). SWAT is more computation and memory-efficient than conventional training. SWAT modifies back-propagation based on the empirical insight that convergence during training tends to be robust to the elimination of (i) small magnitude weights during the forward pass and (ii) both small magnitude weights and activations during the backward pass. We evaluate SWAT on recent CNN architectures such as ResNet, VGG, DenseNet and WideResNet using CIFAR-10, CIFAR-100 and ImageNet datasets. For ResNet-50 on ImageNet SWAT reduces total floating-point operations (FLOPS) during training by 80% resulting in a 3.3$\times$ training speedup when run on a simulated sparse learning accelerator representative of emerging platforms while incurring only 1.63% reduction in validation accuracy. Moreover, SWAT reduces memory footprint during the backward pass by 23% to 50% for activations and 50% to 90% for weights.
Abstract（参考訳）: ニューラルネットワークのトレーニングは計算とメモリ集約である。スパーストレーニングは、スパース計算を高速化するために設計された新興ハードウェアプラットフォームの負担を軽減することができるが、ネットワーク収束に影響を与える可能性がある。本研究では,新しいCNNトレーニングアルゴリズムであるSparse Weight Activation Training (SWAT)を提案する。 SWATは従来のトレーニングよりも計算とメモリ効率が高い。 SWATは、トレーニング中の収束が除去に頑健であるという経験的洞察に基づいて、バックプロパゲーションを変更する (i)前方通過時の小等級 (ii)後方通過時の小さな大きさの重みと活性化の両方。 CIFAR-10, CIFAR-100, ImageNetデータセットを用いて, ResNet, VGG, DenseNet, WideResNetなどの最近のCNNアーキテクチャのSWATを評価する。 ImageNet SWATのResNet-50では、トレーニング中の合計浮動小数点演算(FLOPS)を80%削減し、新興プラットフォームを模擬したスパース学習アクセラレータ上で実行した場合のトレーニングスピードアップは3.3$\times$になる。さらに、SWATは後方通過時のメモリフットプリントを、活性化時に23%から50%、重量時に50%から90%削減する。

関連論文リスト

Weights Augmentation: it has never ever ever ever let her model down [1.5020330976600735]
本稿では,重量増大の概念を,重量探査に焦点をあてて提案する。ウェイト増強戦略(Weight Augmentation Strategy, WAS)とは、損失関数の計算に使用できるネットワークに対して、ランダムに変換されたウェイト係数のトレーニングと変換を行う手法である。我々の実験結果は、VGG-16、ResNet-18、ResNet-34、GoogleNet、MobilementV2、Efficientment-Liteといった畳み込みニューラルネットワークが、ほとんど、あるいは全くコストがかからないことを示しています。
論文参考訳（メタデータ） (2024-05-30T00:57:06Z)
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文参考訳（メタデータ） (2021-09-21T09:57:21Z)
Concurrent Adversarial Learning for Large-Batch Training [83.55868483681748]
逆学習は、決定面を滑らかにし、平坦な領域に偏りを付けるための自然な選択である。本稿では,安定パラメータを用いて,逐次勾配計算を分離するConcurrent Adversarial Learning(ConAdv)手法を提案する。これは、ResNet-50トレーニングバッチサイズを96Kにスケールする最初の作業である。
論文参考訳（メタデータ） (2021-06-01T04:26:02Z)
EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
論文参考訳（メタデータ） (2021-04-01T07:08:36Z)
FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文参考訳（メタデータ） (2020-12-24T05:24:10Z)
Weight Update Skipping: Reducing Training Time for Artificial Neural Networks [0.30458514384586394]
本稿では,時間的変動を示す精度向上の観察を生かしたANNのための新しいトレーニング手法を提案する。このような時間窓の間、ネットワークがまだトレーニングされていることを保証し、過度な適合を避けるバイアスを更新し続けます。このようなトレーニングアプローチは、計算コストを大幅に削減して、ほぼ同じ精度を達成し、トレーニング時間を短縮する。
論文参考訳（メタデータ） (2020-12-05T15:12:10Z)
Enabling On-Device CNN Training by Self-Supervised Instance Filtering and Error Map Pruning [17.272561332310303]
この研究は、トレーニング時の計算コストを削減し、デバイス上での畳み込みニューラルネットワーク(CNN)のトレーニングを可能にすることを目的としている。 CNNモデルは、通常高性能コンピュータ上で訓練され、訓練されたモデルのみがエッジデバイスにデプロイされる。
論文参考訳（メタデータ） (2020-07-07T05:52:37Z)
Smooth Adversarial Training [120.44430400607483]
ネットワークは正確かつ堅牢であると一般に信じられている。ここでは、敵対的訓練に関する慎重な研究により、これらの共通の信念に挑戦する証拠を提示する。本研究では、ReLUをそのスムーズな近似で置き換えて、逆行訓練を強化するスムーズな逆行訓練(SAT)を提案する。
論文参考訳（メタデータ） (2020-06-25T16:34:39Z)
Principal Component Networks: Parameter Reduction Early in Training [10.14522349959932]
パラメータ化されたネットワークと同じ性能を示す小さなネットワークを見つける方法を示す。我々はPCAを用いて、層入力の高分散の基盤を見つけ、これらの方向を用いて層重みを表現する。また、ResNet-20 PCNは、より高速なトレーニングを行いながら、Deep ResNet-110ネットワークより優れていることを示す。
論文参考訳（メタデータ） (2020-06-23T21:40:24Z)
Improved Residual Networks for Image and Video Recognition [98.10703825716142]
ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。ベースライン上での精度と学習収束性を一貫した改善を示す。提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
論文参考訳（メタデータ） (2020-04-10T11:09:50Z)
Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
論文参考訳（メタデータ） (2020-02-07T18:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。