Fugu-MT 論文翻訳(概要): Pipelined Training with Stale Weights of Deep Convolutional Neural Networks

論文の概要: Pipelined Training with Stale Weights of Deep Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/1912.12675v1
Date: Sun, 29 Dec 2019 15:28:13 GMT
ステータス: 処理完了
システム内更新日: 2023-01-17 08:13:29.885662
Title: Pipelined Training with Stale Weights of Deep Convolutional Neural Networks
Title（参考訳）: 深部畳み込みニューラルネットワークの静的重み付きパイプライントレーニング
Authors: Lifu Zhang, Tarek S. Abdelrahman
Abstract要約: パイプライン化バックプロパゲーション方式の統計的効率と性能に及ぼす固定重みの影響について検討する。パイプライニングがネットワークの初期の層に限られている場合、固定重み付きトレーニングが収束し、同じ精度のモデルが得られることを示す。本稿では,パイプライン型と非パイプライン型を併用したハイブリッドスキームを提案する。
参考スコア（独自算出の注目度）: 0.1921787217122713
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The growth in the complexity of Convolutional Neural Networks (CNNs) is increasing interest in partitioning a network across multiple accelerators during training and pipelining the backpropagation computations over the accelerators. Existing approaches avoid or limit the use of stale weights through techniques such as micro-batching or weight stashing. These techniques either underutilize of accelerators or increase memory footprint. We explore the impact of stale weights on the statistical efficiency and performance in a pipelined backpropagation scheme that maximizes accelerator utilization and keeps memory overhead modest. We use 4 CNNs (LeNet-5, AlexNet, VGG and ResNet) and show that when pipelining is limited to early layers in a network, training with stale weights converges and results in models with comparable inference accuracies to those resulting from non-pipelined training on MNIST and CIFAR-10 datasets; a drop in accuracy of 0.4%, 4%, 0.83% and 1.45% for the 4 networks, respectively. However, when pipelining is deeper in the network, inference accuracies drop significantly. We propose combining pipelined and non-pipelined training in a hybrid scheme to address this drop. We demonstrate the implementation and performance of our pipelined backpropagation in PyTorch on 2 GPUs using ResNet, achieving speedups of up to 1.8X over a 1-GPU baseline, with a small drop in inference accuracy.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の複雑さの増大は、トレーニング中に複数のアクセラレータ間でネットワークを分割し、アクセラレータ上でのバックプロパゲーション計算をパイプライン化することへの関心が高まっている。既存のアプローチでは、マイクロバッチングやウェイトスタッシングといったテクニックによって、古い重みの使用を回避または制限している。これらの技術はアクセラレーターを過小評価するか、メモリフットプリントを増加させる。本稿では,加速器の利用を最大化し,メモリオーバーヘッドを抑えるパイプラインバックプロパゲーション方式において,固定重みが統計的効率と性能に与える影響について検討する。 4つのcnn(lenet-5、alexnet、vgg、resnet)を使用して、パイプライン化がネットワークの初期層に制限されると、古い重みを持つトレーニングが収束し、mnistとcifar-10データセットの非パイプライン化トレーニングから得られるものと同等の推論精度を持つモデルが生成されることを示し、それぞれ0.4%、4%、0.83%、1.45%の精度低下を示した。しかし、パイプライニングがネットワークの奥深くにある場合、推測精度は大幅に低下する。本稿では,パイプラインと非パイプライン学習を組み合わせたハイブリッド方式を提案する。 ResNetを用いた2つのGPU上でのPyTorchのパイプラインバックプロパゲーションの実装と性能を実演し、1-GPUベースライン上で最大1.8倍の高速化を実現し、推論精度を低下させる。

関連論文リスト

ReCycle: Resilient Training of Large DNNs using Pipeline Adaptation [2.0181279529015925]
ReCycleは、障害発生時の効率的なトレーニング用に設計されたシステムである。分散トレーニングシステムに固有の機能的冗長性を活用する。複数の障害で高いトレーニングスループットを実現していることを示す。
論文参考訳（メタデータ） (2024-05-22T21:35:56Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。本稿では,これらのボトルネックを緩和する一連の改良点について述べる。また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文参考訳（メタデータ） (2021-10-16T02:41:35Z)
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文参考訳（メタデータ） (2021-09-21T09:57:21Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Dynamic Slimmable Network [105.74546828182834]
ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
論文参考訳（メタデータ） (2021-03-24T15:25:20Z)
Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文参考訳（メタデータ） (2021-02-08T05:55:47Z)
BaPipe: Exploration of Balanced Pipeline Parallelism for DNN Training [9.551339069298011]
BaPipeは分散ディープラーニングのためのパイプライン並列化トレーニングフレームワークである。パイプライン並列性トレーニングメソッドと分散トレーニングのためのバランスの取れたパーティション戦略を自動で探索する。 BaPipeは、様々なプラットフォームで最大3.2倍のスピードアップと4倍のメモリ削減を提供する。
論文参考訳（メタデータ） (2020-12-23T08:57:39Z)
Pipelined Backpropagation at Scale: Training Large Models without Batches [0.9580895202050946]
我々は,非同期パイプライン並列学習アルゴリズムである細粒度パイプラインバックプロパゲーションの小型バッチの利用を評価した。適切な正規化と小さなバッチサイズは、トレーニングにも役立ちます。
論文参考訳（メタデータ） (2020-03-25T22:26:28Z)
Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文参考訳（メタデータ） (2020-02-23T17:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。