論文の概要: PipeTransformer: Automated Elastic Pipelining for Distributed Training of Transformers

• arxiv url: http://arxiv.org/abs/2102.03161v1
• Date: Fri, 5 Feb 2021 13:39:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-02-08 14:25:17.124694
• Title: PipeTransformer: Automated Elastic Pipelining for Distributed Training of Transformers
• Title（参考訳）: PipeTransformer: 変圧器の分散トレーニングのための自動弾性パイプライン
• Authors: Chaoyang He, Shen Li, Mahdi Soltanolkotabi, Salman Avestimehr
• Abstract要約: PipeTransformerはTransformerモデルの分散トレーニングアルゴリズムである。 トレーニング中にいくつかのレイヤを特定し凍結することで、パイプラインとデータの並列性を自動的に調整する。 GLUE と SQuAD データセット上で ImageNet と BERT 上での Vision Transformer (ViT) を用いた Pipe Transformer の評価を行った。
• 参考スコア（独自算出の注目度）: 47.194426122333205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The size of Transformer models is growing at an unprecedented pace. It has only taken less than one year to reach trillion-level parameters after the release of GPT-3 (175B). Training such models requires both substantial engineering efforts and enormous computing resources, which are luxuries most research teams cannot afford. In this paper, we propose PipeTransformer, which leverages automated and elastic pipelining and data parallelism for efficient distributed training of Transformer models. PipeTransformer automatically adjusts the pipelining and data parallelism by identifying and freezing some layers during the training, and instead allocates resources for training of the remaining active layers. More specifically, PipeTransformer dynamically excludes converged layers from the pipeline, packs active layers into fewer GPUs, and forks more replicas to increase data-parallel width. We evaluate PipeTransformer using Vision Transformer (ViT) on ImageNet and BERT on GLUE and SQuAD datasets. Our results show that PipeTransformer attains a 2.4 fold speedup compared to the state-of-the-art baseline. We also provide various performance analyses for a more comprehensive understanding of our algorithmic and system-wise design. We also develop open-sourced flexible APIs for PipeTransformer, which offer a clean separation among the freeze algorithm, model definitions, and training accelerations, hence allowing it to be applied to other algorithms that require similar freezing strategies.
• Abstract（参考訳）: Transformerのモデルのサイズは前例のないペースで成長している。 GPT-3 (175B) のリリースから1年足らずで1兆段階のパラメータに到達した。 このようなモデルのトレーニングには、膨大なエンジニアリング努力と膨大なコンピューティングリソースの両方が必要です。 本論文では,自動および弾性パイプライニングとデータ並列性を利用してトランスフォーマーモデルの効率的な分散トレーニングを行うPipeTransformerを提案する。 PipeTransformerは、トレーニング中にいくつかのレイヤを特定し凍結することで、パイプライニングとデータ並列性を自動的に調整し、残りのアクティブレイヤのトレーニングにリソースを割り当てる。 より具体的には、PipeTransformerはパイプラインから収束したレイヤを動的に排除し、アクティブなレイヤを少ないGPUにパックし、より多くのレプリカをフォークしてデータ並列幅を拡大する。 ImageNetのVision Transformer(ViT)とGLUEおよびSQuADデータセットのBERTを使用してPipeTransformerを評価します。 その結果、pipetransformerは最先端のベースラインと比較して2.4倍のスピードアップを達成した。 また,アルゴリズムやシステム設計をより包括的に理解するために,様々な性能解析を行う。 また,フリーズアルゴリズム,モデル定義,およびトレーニングアクセラレーションをクリーンに分離して,同様のフリーズ戦略を必要とする他のアルゴリズムにも適用可能な,pipetransformer用のフレキシブルapiもオープンソースとして開発した。

関連論文リスト

• DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams [63.27233749591346]
  トランスフォーマーベースのモデルは、ますます複雑なタスクに取り組むために、そのサイズとパラメータ数を劇的に増加させてきた。 ストリームデータ推論は通常、スライディング時間ウィンドウ上で実行され、非常に冗長な計算に繋がる。 提案するDeep Continual Transformer(DeepCoT)は冗長性のないエンコーダのみのモデルであり,最小限の変更で既存のディープエンコーダアーキテクチャに適用できる。
  論文  参考訳（メタデータ） (2025-11-21T16:15:43Z)
• Pluggable Pruning with Contiguous Layer Distillation for Diffusion Transformers [10.251154683874033]
  拡散変換器(DiT)は画像生成において例外的な性能を示したが、その大きなパラメータ数は計算コストが高い。 提案するPlugable Pruning with Contiguous Layer Distillation (PPCL)は,DiTアーキテクチャ用に設計されたフレキシブルな構造化プルーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-20T08:53:07Z)
• AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models [59.7059443712562]
  AdaPtisは、適応パイプライン並列性をサポートする大規模言語モデル(LLM)のトレーニングシステムである。 大規模な実験により、AdaPtisはMegatron-LM I-1F1Bよりも平均1.42倍(最大2.14倍)のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-09-28T08:05:13Z)
• Parallelizing Linear Transformers with the Delta Rule over Sequence Length [49.88826673324244]
  この研究は、デルタ則で線形変圧器を訓練するためのハードウェア効率の良いアルゴリズムについて述べる。 我々は100Bトークンに対して1.3Bモデルをトレーニングし、最近の線形時間ベースラインよりも優れていることを発見した。
  論文  参考訳（メタデータ） (2024-06-10T17:24:42Z)
• PipeFusion: Patch-level Pipeline Parallelism for Diffusion Transformers Inference [5.704297874096985]
  PipeFusionは、複数のGPUでイメージをパッチとモデルレイヤに分割する。 通信と計算を効率的にオーケストレーションするために、パッチレベルのパイプライン並列戦略を採用している。
  論文  参考訳（メタデータ） (2024-05-23T11:00:07Z)
• Scaling Efficient LLMs [0.0]
  変圧器の「AIスケーリング法則」は、パラメータの数はデータのサイズと線形にスケールする必要があることを示唆している。 本稿では,リカレント変圧器と再カレントネットワークの有効性を組み合わせた再カレント変圧器を提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:06:19Z)
• Transformer as Linear Expansion of Learngene [38.16612771203953]
  リニア・エクスパンジョン・オブ・ラーニングジェネレーション(TLEG)は多様な深さのトランスフォーマーを柔軟に生成・初期化する新しい手法である。 ImageNet-1Kの実験では、TLEGはスクラッチからトレーニングされた多くの個別モデルと対照的に、同等またはより良いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-12-09T17:01:18Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Deep Pipeline Embeddings for AutoML [11.168121941015015]
  AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。 既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。 本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:40:38Z)
• A Fast Post-Training Pruning Framework for Transformers [74.59556951906468]
  プルーニングは、大きなTransformerモデルの巨大な推論コストを削減する効果的な方法である。 モデルプルーニングの以前の作業では、モデルの再トレーニングが必要だった。 本稿では,再学習を必要としないトランスフォーマーのための高速な訓練後プルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T07:41:11Z)
• Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
  ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。 エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。 チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
  論文  参考訳（メタデータ） (2022-02-17T14:31:58Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline Composition and Optimisation [13.116806430326513]
  本稿では,サロゲートモデル(AVATAR)を用いて,実行せずにMLパイプラインの有効性を評価する手法を提案する。 AVATARは、データセットの特徴に対するMLアルゴリズムの機能と効果を自動的に学習することで、知識ベースを生成する。 AVATARはその妥当性を評価するためにオリジナルのMLパイプラインを実行する代わりに、MLパイプラインコンポーネントの機能と効果によって構築されたサロゲートモデルを評価する。
  論文  参考訳（メタデータ） (2020-11-21T14:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。