論文の概要: PipeTransformer: Automated Elastic Pipelining for Distributed Training of Transformers

• arxiv url: http://arxiv.org/abs/2102.03161v1
• Date: Fri, 5 Feb 2021 13:39:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-08 14:25:17.124694
• Title: PipeTransformer: Automated Elastic Pipelining for Distributed Training of Transformers
• Title（参考訳）: PipeTransformer: 変圧器の分散トレーニングのための自動弾性パイプライン
• Authors: Chaoyang He, Shen Li, Mahdi Soltanolkotabi, Salman Avestimehr
• Abstract要約: PipeTransformerはTransformerモデルの分散トレーニングアルゴリズムである。 トレーニング中にいくつかのレイヤを特定し凍結することで、パイプラインとデータの並列性を自動的に調整する。 GLUE と SQuAD データセット上で ImageNet と BERT 上での Vision Transformer (ViT) を用いた Pipe Transformer の評価を行った。
• 参考スコア（独自算出の注目度）: 47.194426122333205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The size of Transformer models is growing at an unprecedented pace. It has only taken less than one year to reach trillion-level parameters after the release of GPT-3 (175B). Training such models requires both substantial engineering efforts and enormous computing resources, which are luxuries most research teams cannot afford. In this paper, we propose PipeTransformer, which leverages automated and elastic pipelining and data parallelism for efficient distributed training of Transformer models. PipeTransformer automatically adjusts the pipelining and data parallelism by identifying and freezing some layers during the training, and instead allocates resources for training of the remaining active layers. More specifically, PipeTransformer dynamically excludes converged layers from the pipeline, packs active layers into fewer GPUs, and forks more replicas to increase data-parallel width. We evaluate PipeTransformer using Vision Transformer (ViT) on ImageNet and BERT on GLUE and SQuAD datasets. Our results show that PipeTransformer attains a 2.4 fold speedup compared to the state-of-the-art baseline. We also provide various performance analyses for a more comprehensive understanding of our algorithmic and system-wise design. We also develop open-sourced flexible APIs for PipeTransformer, which offer a clean separation among the freeze algorithm, model definitions, and training accelerations, hence allowing it to be applied to other algorithms that require similar freezing strategies.
• Abstract（参考訳）: Transformerのモデルのサイズは前例のないペースで成長している。 GPT-3 (175B) のリリースから1年足らずで1兆段階のパラメータに到達した。 このようなモデルのトレーニングには、膨大なエンジニアリング努力と膨大なコンピューティングリソースの両方が必要です。 本論文では,自動および弾性パイプライニングとデータ並列性を利用してトランスフォーマーモデルの効率的な分散トレーニングを行うPipeTransformerを提案する。 PipeTransformerは、トレーニング中にいくつかのレイヤを特定し凍結することで、パイプライニングとデータ並列性を自動的に調整し、残りのアクティブレイヤのトレーニングにリソースを割り当てる。 より具体的には、PipeTransformerはパイプラインから収束したレイヤを動的に排除し、アクティブなレイヤを少ないGPUにパックし、より多くのレプリカをフォークしてデータ並列幅を拡大する。 ImageNetのVision Transformer(ViT)とGLUEおよびSQuADデータセットのBERTを使用してPipeTransformerを評価します。 その結果、pipetransformerは最先端のベースラインと比較して2.4倍のスピードアップを達成した。 また,アルゴリズムやシステム設計をより包括的に理解するために,様々な性能解析を行う。 また,フリーズアルゴリズム,モデル定義,およびトレーニングアクセラレーションをクリーンに分離して,同様のフリーズ戦略を必要とする他のアルゴリズムにも適用可能な,pipetransformer用のフレキシブルapiもオープンソースとして開発した。

関連論文リスト

• Parallelizing Linear Transformers with the Delta Rule over Sequence Length [49.88826673324244]
  この研究は、デルタ則で線形変圧器を訓練するためのハードウェア効率の良いアルゴリズムについて述べる。 我々は100Bトークンに対して1.3Bモデルをトレーニングし、最近の線形時間ベースラインよりも優れていることを発見した。
  論文  参考訳（メタデータ） (2024-06-10T17:24:42Z)
• PipeFusion: Patch-level Pipeline Parallelism for Diffusion Transformers Inference [5.704297874096985]
  PipeFusionは、複数のGPUでイメージをパッチとモデルレイヤに分割する。 通信と計算を効率的にオーケストレーションするために、パッチレベルのパイプライン並列戦略を採用している。
  論文  参考訳（メタデータ） (2024-05-23T11:00:07Z)
• Transformer as Linear Expansion of Learngene [38.16612771203953]
  リニア・エクスパンジョン・オブ・ラーニングジェネレーション(TLEG)は多様な深さのトランスフォーマーを柔軟に生成・初期化する新しい手法である。 ImageNet-1Kの実験では、TLEGはスクラッチからトレーニングされた多くの個別モデルと対照的に、同等またはより良いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-12-09T17:01:18Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Deep Pipeline Embeddings for AutoML [11.168121941015015]
  AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。 既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。 本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:40:38Z)
• A Fast Post-Training Pruning Framework for Transformers [74.59556951906468]
  プルーニングは、大きなTransformerモデルの巨大な推論コストを削減する効果的な方法である。 モデルプルーニングの以前の作業では、モデルの再トレーニングが必要だった。 本稿では,再学習を必要としないトランスフォーマーのための高速な訓練後プルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T07:41:11Z)
• Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
  ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。 エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。 チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
  論文  参考訳（メタデータ） (2022-02-17T14:31:58Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline Composition and Optimisation [13.116806430326513]
  本稿では,サロゲートモデル(AVATAR)を用いて,実行せずにMLパイプラインの有効性を評価する手法を提案する。 AVATARは、データセットの特徴に対するMLアルゴリズムの機能と効果を自動的に学習することで、知識ベースを生成する。 AVATARはその妥当性を評価するためにオリジナルのMLパイプラインを実行する代わりに、MLパイプラインコンポーネントの機能と効果によって構築されたサロゲートモデルを評価する。
  論文  参考訳（メタデータ） (2020-11-21T14:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。