Fugu-MT 論文翻訳(概要): Ultra-Long Sequence Distributed Transformer

論文の概要: Ultra-Long Sequence Distributed Transformer

arxiv url: http://arxiv.org/abs/2311.02382v1
Date: Sat, 4 Nov 2023 11:38:53 GMT
ステータス: 処理完了
システム内更新日: 2023-11-07 17:56:38.847812
Title: Ultra-Long Sequence Distributed Transformer
Title（参考訳）: 超長周期分散変圧器
Authors: Xiao Wang, Isaac Lyngaas, Aristeidis Tsaris, Peng Chen, Sajal Dash, Mayanka Chandra Shekar, Tao Luo, Hong-Jun Yoon, Mohamed Wahib, John Gouley
Abstract要約: 長いシーケンスで訓練されたトランスフォーマーモデルは、しばしば短いシーケンスよりも高い精度を達成する。既存のロングシーケンストレーニングの方法は、制限されたスピードアップとメモリ削減を提供する。本稿では,新しい分散学習手法であるLong Short-Sequence Transformerを提案する。
参考スコア（独自算出の注目度）: 10.263668150008316
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformer models trained on long sequences often achieve higher accuracy than short sequences. Unfortunately, conventional transformers struggle with long sequence training due to the overwhelming computation and memory requirements. Existing methods for long sequence training offer limited speedup and memory reduction, and may compromise accuracy. This paper presents a novel and efficient distributed training method, the Long Short-Sequence Transformer (LSS Transformer), for training transformer with long sequences. It distributes a long sequence into segments among GPUs, with each GPU computing a partial self-attention for its segment. Then, it uses a fused communication and a novel double gradient averaging technique to avoid the need to aggregate partial self-attention and minimize communication overhead. We evaluated the performance between LSS Transformer and the state-of-the-art Nvidia sequence parallelism on a Wikipedia enwik8 dataset. Results show that our proposed method lead to 5.6x faster and 10.2x more memory-efficient implementation compared to state-of-the-art sequence parallelism on 144 Nvidia V100 GPUs. Moreover, our algorithm scales to an extreme sequence length of 50,112 at 3,456 GPUs, achieving 161% super-linear parallel efficiency and a throughput of 32 petaflops.
Abstract（参考訳）: 長いシーケンスで訓練されたトランスフォーマーモデルは、しばしば短いシーケンスよりも高い精度を達成する。残念なことに、従来のトランスフォーマーは、圧倒的な計算とメモリ要求のために長いシーケンストレーニングに苦労している。既存のロングシーケンストレーニングの方法は、制限されたスピードアップとメモリ削減を提供し、精度を損なう可能性がある。本稿では,長周期の変圧器を学習するための新しい分散学習手法であるLong Short-Sequence Transformer(LSS Transformer)を提案する。長いシーケンスをGPU間でセグメントに分散し、各GPUコンピューティングはそのセグメントに対して部分的な自己アテンションを持つ。そして、融合通信と新しい二重勾配平均化技術を用いて、部分的な自己注意の集約や通信オーバーヘッドの最小化を回避する。 wikipedia enwik8データセット上で,lssトランスフォーマタとnvidiaシーケンシャル並列性の性能評価を行った。その結果,提案手法はNvidia V100の144 GPUにおける最先端シーケンス並列処理と比較して,5.6倍,メモリ効率が10.2倍向上した。さらに,3,456個のGPUで50,112個の極端なシーケンス長にスケールアップし,超線形並列効率161%,スループット32ペタフロップスを実現した。

関連論文リスト

Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training [78.93900796545523]
ミニシーケンス変換器(Mini-Sequence Transformer, MsT)は、非常に長いシーケンスを持つ高速かつ高精度なLLMトレーニング手法である。 MsTは入力シーケンスを分割し、中間メモリ使用量を減らすためにミニシーケンスを反復的に処理する。 huggingfaceライブラリと統合され、MsTはQwen、Mistral、Gemma-2の最大コンテキスト長を12-24倍に拡張した。
論文参考訳（メタデータ） (2024-07-22T01:52:30Z)
Sequence Length Scaling in Vision Transformers for Scientific Images on Frontier [10.844784589626231]
ビジョントランスフォーマー (ViT) は、地球科学の応用を含む科学画像の基礎モデルにおいて重要な要素である。最大100万個のトークンを処理できる分散シーケンス並列処理を開発した。我々のアプローチは、DeepSpeed-UlyssesとLong Sequence-Segmentationをモデルシャーディングで活用し、ViTトレーニングにシーケンス並列性を適用した最初の方法である。
論文参考訳（メタデータ） (2024-04-17T19:57:07Z)
Gated Linear Attention Transformers with Hardware-Efficient Training [60.670102007737476]
本研究は、並列化性に対してメモリ移動をオフにする線形注意のためのハードウェア効率のアルゴリズムについて述べる。次に、このアルゴリズムを、データ依存ゲートを用いたより表現力豊かな線形アテンションに一般化する。変圧器の標準アテンション層に代えて使用すると、結果として生じるゲート状リニアアテンショントランスが競合的に動作することが分かる。
論文参考訳（メタデータ） (2023-12-11T18:51:59Z)
DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models [34.74093040678323]
我々は,高度に効率的かつスケーラブルなLDMトレーニングを実現するための,新しい,ポータブルで効果的な方法論であるDeepSpeed-Ulyssesを紹介した。 DeepSpeed-Ulyssesは、そのコアでシーケンス次元に沿って入力データを分割し、効率的なオール・ツー・オールの集合通信を用いて注意を払っている。実験の結果、DeepSpeed-Ulyssesは既存のSOTAベースラインの4倍のシーケンス長で2.5倍高速であることがわかった。
論文参考訳（メタデータ） (2023-09-25T20:15:57Z)
Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
論文参考訳（メタデータ） (2023-05-30T19:25:51Z)
A Length Adaptive Algorithm-Hardware Co-design of Transformer on FPGA Through Sparse Attention and Dynamic Pipelining [28.336502115532905]
本稿ではトランスフォーマーアクセラレーションのためのコヒーレントシーケンス長適応型アルゴリズム-ハードウェア共設計を提案する。ハードウェアフレンドリーなスパースアテンション演算子と長編ハードウェアリソーススケジューリングアルゴリズムを開発した。我々の設計は、非常に小さな精度の損失があり、CPUやGPUの実装と比較して80.2$times$と2.6$times$ Speedupがある。
論文参考訳（メタデータ） (2022-08-07T05:48:38Z)
Block-Recurrent Transformers [49.07682696216708]
本稿では,逐次的にトランス層を適用するBlock-Recurrent Transformerを提案する。我々のリカレントセルはシングルトークンではなくトークンブロック上で動作し、アクセルハードウェアを効率的に活用するためにブロック内の並列計算を利用する。
論文参考訳（メタデータ） (2022-03-11T23:44:33Z)
FNet: Mixing Tokens with Fourier Transforms [0.578717214982749]
Transformerエンコーダアーキテクチャは、限られた精度コストで大幅に高速化できることを示しています。入力トークンを「混合」する単純な線形変換に自己着脱部分層を置き換える。 FNetと呼ばれる結果のモデルは、長い入力に対して非常に効率的にスケールします。
論文参考訳（メタデータ） (2021-05-09T03:32:48Z)
Finetuning Pretrained Transformers into RNNs [81.72974646901136]
トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。線形複雑リカレント変種は自己回帰生成に適していることが証明されている。この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
論文参考訳（メタデータ） (2021-03-24T10:50:43Z)
Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search [84.94597821711808]
我々は,PoWER-BERT(Goyal et al., 2020)を拡張し,一発訓練後に様々な推論シナリオに使用できる長適応変換器を提案する。我々は,任意の計算予算の下で,精度を最大化し,効率の指標を最小化する長さ構成を求めるために,多目的進化探索を行う。提案手法の有効性を実証的に検証し,各種設定下での精度・効率のトレードオフを実証する。
論文参考訳（メタデータ） (2020-10-14T12:28:08Z)
TurboTransformers: An Efficient GPU Serving System For Transformer Models [17.4637724940437]
TurboTransformersシステムは、コンピューティングランタイムとサービスフレームワークで構成されている。 GPUベースのバッチ削減操作に対して,効率的な並列アルゴリズムを提案する。メモリ割り当てアルゴリズムは可変長入力状況向けに設計されている。新しいバッチスケジューラを備えたサービスフレームワークは、可変長要求に対して最適なスループットを実現する。
論文参考訳（メタデータ） (2020-10-09T07:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。