論文の概要: Jetfire: Efficient and Accurate Transformer Pretraining with INT8 Data Flow and Per-Block Quantization

• arxiv url: http://arxiv.org/abs/2403.12422v1
• Date: Tue, 19 Mar 2024 04:09:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 15:22:07.565712
• Title: Jetfire: Efficient and Accurate Transformer Pretraining with INT8 Data Flow and Per-Block Quantization
• Title（参考訳）: Jetfire: INT8データフローとブロック単位の量子化を前提とした効率的かつ高精度なトランスフォーマ
• Authors: Haocheng Xi, Yuxiang Chen, Kang Zhao, Kaijun Zheng, Jianfei Chen, Jun Zhu,
• Abstract要約: ジェットファイア(Jetfire)は、変圧器に特化した、効率的かつ正確なINT8訓練方法である。 本手法では,FP16ベースラインと比較して,エンドツーエンドのトレーニング速度が1.42倍,メモリが1.49倍に向上する。
• 参考スコア（独自算出の注目度）: 19.414153137453415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretraining transformers are generally time-consuming. Fully quantized training (FQT) is a promising approach to speed up pretraining. However, most FQT methods adopt a quantize-compute-dequantize procedure, which often leads to suboptimal speedup and significant performance degradation when used in transformers due to the high memory access overheads and low-precision computations. In this work, we propose Jetfire, an efficient and accurate INT8 training method specific to transformers. Our method features an INT8 data flow to optimize memory access and a per-block quantization method to maintain the accuracy of pretrained transformers. Extensive experiments demonstrate that our INT8 FQT method achieves comparable accuracy to the FP16 training baseline and outperforms the existing INT8 training works for transformers. Moreover, for a standard transformer block, our method offers an end-to-end training speedup of 1.42x and a 1.49x memory reduction compared to the FP16 baseline.
• Abstract（参考訳）: 事前学習は一般的に時間を要する。 完全量子化トレーニング(FQT)は、事前トレーニングを高速化するための有望なアプローチである。 しかし、ほとんどのFQTメソッドは量子化-量子化処理を採用しており、メモリアクセスのオーバーヘッドや低精度の計算のためにトランスフォーマで使用される場合、しばしば最適以下のスピードアップと大幅な性能低下をもたらす。 本研究では, 変圧器に特化した高速かつ高精度な INT8 トレーニング手法であるJetfire を提案する。 本手法は、メモリアクセスを最適化するINT8データフローと、事前学習した変換器の精度を維持するブロックごとの量子化手法を特徴とする。 我々のINT8 FQT法は、FP16トレーニングベースラインに匹敵する精度を達成し、トランスフォーマーの既存のINT8トレーニング作業より優れていることを示す。 さらに、標準変圧器ブロックでは、FP16ベースラインと比較して、エンドツーエンドのトレーニングスピードアップが1.42倍、メモリ削減が1.49倍となる。

関連論文リスト

• COAT: Compressing Optimizer states and Activation for Memory-Efficient FP8 Training [47.07768822212081]
  COAT(States and Activations for FP8 Training)は、大規模なモデルをトレーニングする際のメモリフットプリントを大幅に削減するために設計された、新しいFP8トレーニングフレームワークである。 COATは、BF16と比較して、エンドツーエンドのトレーニングメモリフットプリントを1.54倍に効果的に削減する。 COATはまた、BF16と比較して1.43倍のエンドツーエンドのトレーニング速度を達成する。
  論文  参考訳（メタデータ） (2024-10-25T05:59:30Z)
• Accelerating Transformer Pre-training with 2:4 Sparsity [19.64391647966267]
  NVIDIA Ampere GPUは、細粒度の2:4スパース行列乗算を、その密度の高い等価値の2倍の速さで実行することができる。 そこで本研究では,スパース精製ストレートスルー推定器を改良し,温暖化段階における分解係数を推定し,モデルの品質を向上させる3つの手法を提案する。 提案アルゴリズムは,複数の変圧器事前学習タスクにおいて,密集学習アルゴリズムと類似の収束性を実現する一方,変圧器ブロックの異なる形状で実際の加速度を観測することができる。
  論文  参考訳（メタデータ） (2024-04-02T11:12:42Z)
• FP8-BERT: Post-Training Quantization for Transformer [20.51143486483669]
  BERTのようなトランスフォーマーベースのモデルでは、大規模なメモリストレージと本番環境にデプロイする際の推論コストが要求される。 新しい数値フォーマットFP8が提案され、H100のような商用AIコンピューティングプラットフォームでサポートされている。 我々は,FP8の有効性を,精度を著しく損なうことなく,ポストトレーニング量子化を行う方法として実証的に検証した。
  論文  参考訳（メタデータ） (2023-12-10T02:14:34Z)
• Training Transformers with 4-bit Integers [21.861232105539933]
  4ビットへのアクティベーション、ウェイト、勾配の量子化は、ニューラルネットワークのトレーニングを加速することを約束している。 既存の4ビットのトレーニング方法は、現代のハードウェアではサポートされていないカスタムの数値形式を必要とする。 本研究では,INT4演算で実装されたすべての行列乗算を用いた変圧器の訓練手法を提案する。
  論文  参考訳（メタデータ） (2023-06-21T02:45:01Z)
• A Survey on Efficient Training of Transformers [72.31868024970674]
  この調査は、トランスフォーマーの効率的なトレーニングに関する最初の体系的な概要を提供する。 トレーニング中の中間テンソルの計算コストとメモリコストを削減できる手法と,ハードウェア/アルゴリズムの共同設計手法を分析し比較する。
  論文  参考訳（メタデータ） (2023-02-02T13:58:18Z)
• A Fast Post-Training Pruning Framework for Transformers [74.59556951906468]
  プルーニングは、大きなTransformerモデルの巨大な推論コストを削減する効果的な方法である。 モデルプルーニングの以前の作業では、モデルの再トレーニングが必要だった。 本稿では,再学習を必要としないトランスフォーマーのための高速な訓練後プルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T07:41:11Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Shortformer: Better Language Modeling using Shorter Inputs [62.51758040848735]
  当初、モデルを短いサブシーケンスでトレーニングした後、長いサブシーケンスに移行する前に、どちらもトレーニング時間を短縮することを示す。 次に, 変圧器における再帰法の効率を改善する方法を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:52:59Z)
• Learning Accurate Integer Transformer Machine-Translation Models [0.05184427980355132]
  本論文では、8ビット整数(INT8)ハードウェア行列乗算器を用いて推論を行うための正確なトランスフォーマー機械翻訳モデルの訓練方法について述べる。 提案手法は,既存のFP32モデルからの行列乗算テンソルをすべてINT8テンソルに変換する。
  論文  参考訳（メタデータ） (2020-01-03T18:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。