論文の概要: Pipelined Backpropagation at Scale: Training Large Models without Batches

• arxiv url: http://arxiv.org/abs/2003.11666v3
• Date: Sat, 10 Apr 2021 00:50:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 03:16:09.829105
• Title: Pipelined Backpropagation at Scale: Training Large Models without Batches
• Title（参考訳）: 大規模パイプラインバックプロパゲーション - バッチなしで大規模モデルをトレーニングする
• Authors: Atli Kosson, Vitaliy Chiley, Abhinav Venigalla, Joel Hestness, Urs K\"oster
• Abstract要約: 我々は,非同期パイプライン並列学習アルゴリズムである細粒度パイプラインバックプロパゲーションの小型バッチの利用を評価した。 適切な正規化と小さなバッチサイズは、トレーニングにも役立ちます。
• 参考スコア（独自算出の注目度）: 0.9580895202050946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: New hardware can substantially increase the speed and efficiency of deep neural network training. To guide the development of future hardware architectures, it is pertinent to explore the hardware and machine learning properties of alternative training algorithms. In this work we evaluate the use of small batch, fine-grained Pipelined Backpropagation, an asynchronous pipeline parallel training algorithm that has significant hardware advantages. We introduce two methods, Spike Compensation and Linear Weight Prediction, that effectively mitigate the downsides caused by the asynchronicity of Pipelined Backpropagation and outperform existing techniques in our setting. We show that appropriate normalization and small batch sizes can also aid training. With our methods, fine-grained Pipelined Backpropagation using a batch size of one can match the accuracy of SGD for multiple networks trained on CIFAR-10 and ImageNet. Simple scaling rules allow the use of existing hyperparameters for traditional training without additional tuning.
• Abstract（参考訳）: 新しいハードウェアはディープニューラルネットワークトレーニングのスピードと効率を大幅に向上させることができる。 将来のハードウェアアーキテクチャの開発を導くために、代替訓練アルゴリズムのハードウェアと機械学習特性を探求することが重要である。 本研究では,ハードウェアのアドバンテージを生かした非同期パイプライン並列トレーニングアルゴリズムである,小さなバッチ細粒度パイプラインバックプロパゲーションの利用を評価する。 我々は,パイプライン化バックプロパゲーションの非同期性に起因する欠点を効果的に軽減するスパイク補償と線形重み予測という2つの手法を導入する。 適切な正規化と小さなバッチサイズがトレーニングにも有効であることを示す。 提案手法では,CIFAR-10 と ImageNet で訓練した複数のネットワークに対して,バッチサイズを用いた細粒化パイプラインバックプロパゲーションにより,SGD の精度を一致させることができる。 単純なスケーリングルールにより、既存のハイパーパラメータを、追加のチューニングなしで従来のトレーニングに使用できる。

関連論文リスト

• ReCycle: Resilient Training of Large DNNs using Pipeline Adaptation [2.0181279529015925]
  ReCycleは、障害発生時の効率的なトレーニング用に設計されたシステムである。 分散トレーニングシステムに固有の機能的冗長性を活用する。 複数の障害で高いトレーニングスループットを実現していることを示す。
  論文  参考訳（メタデータ） (2024-05-22T21:35:56Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• An End-to-End Network Pruning Pipeline with Sparsity Enforcement [0.0]
  トレーニングのすべての段階において、ニューラルネットワークのプルーニングとスパーシフィケーションに適したエンドツーエンドのトレーニングパイプラインを開発します。 本研究は, 刈り込み工程で使用する異なる技術に加えて, これらの手法の組み合わせを利用した実験を行う。
  論文  参考訳（メタデータ） (2023-12-04T06:11:39Z)
• PipeOptim: Ensuring Effective 1F1B Schedule with Optimizer-Dependent Weight Prediction [37.05698088730229]
  1F1B (one forward, one backward) スケジュールを持つ非同期パイプラインモデル並列処理は、バブルオーバーヘッドをほとんど発生しない。 「1F1B」スケジュールは必然的に、異なるミニバッチのクロストレーニングによる重量不整合と重量安定の問題を引き起こす。 非同期パイプライン学習のための独立重み予測戦略(PipeOptim)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T01:52:38Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
  ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。 エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。 チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
  論文  参考訳（メタデータ） (2022-02-17T14:31:58Z)
• Hardware Beyond Backpropagation: a Photonic Co-Processor for Direct Feedback Alignment [26.65651157173834]
  数兆のパラメータでランダムなプロジェクションを計算できる、ダイレクトフィードバックアライメントのためのフォトニック加速器を提案する。 これはスケーラブルなハードウェアを構築するための重要なステップであり、バックプロパゲーションを超えることができる。
  論文  参考訳（メタデータ） (2020-12-11T14:20:45Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)
• Pipelined Training with Stale Weights of Deep Convolutional Neural Networks [0.1921787217122713]
  パイプライン化バックプロパゲーション方式の統計的効率と性能に及ぼす固定重みの影響について検討する。 パイプライニングがネットワークの初期の層に限られている場合、固定重み付きトレーニングが収束し、同じ精度のモデルが得られることを示す。 本稿では,パイプライン型と非パイプライン型を併用したハイブリッドスキームを提案する。
  論文  参考訳（メタデータ） (2019-12-29T15:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。