論文の概要: Striped Attention: Faster Ring Attention for Causal Transformers
- arxiv url: http://arxiv.org/abs/2311.09431v1
- Date: Wed, 15 Nov 2023 23:01:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 17:14:12.723320
- Title: Striped Attention: Faster Ring Attention for Causal Transformers
- Title（参考訳）: Striped Attention: 因果変換器の高速リングアテンション
- Authors: William Brandon, Aniruddha Nrusimha, Kevin Qian, Zachary Ankner, Tian
Jin, Zhiye Song, Jonathan Ragan-Kelley
- Abstract要約: 因果変換器モデルの重要な場合におけるリング注意特性について検討する。
我々は、この不均衡を修正するためにStriped Attentionと呼ばれる、Ring Attentionへの簡単な拡張を提案する。
元のRing Attentionアルゴリズムよりも最大1.45倍のスループット向上を実現しています。
- 参考スコア（独自算出の注目度）: 8.800564380397867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To help address the growing demand for ever-longer sequence lengths in
transformer models, Liu et al. recently proposed Ring Attention, an exact
attention algorithm capable of overcoming per-device memory bottle- necks by
distributing self-attention across multiple devices. In this paper, we study
the performance characteristics of Ring Attention in the important special case
of causal transformer models, and identify a key workload imbal- ance due to
triangular structure of causal attention computations. We propose a simple
extension to Ring Attention, which we call Striped Attention to fix this
imbalance. Instead of devices having contiguous subsequences, each device has a
subset of tokens distributed uniformly throughout the sequence, which we
demonstrate leads to more even workloads. In experiments running Striped
Attention on A100 GPUs and TPUv4s, we are able to achieve up to 1.45x
end-to-end throughput improvements over the original Ring Attention algorithm
on causal transformer training at a sequence length of 256k. Furthermore, on 16
TPUv4 chips, we were able to achieve 1.65x speedups at sequence lengths of
786k. We release the code for our experiments as open source
- Abstract（参考訳）: トランスモデルの長いシーケンス長の増大に対応するため、Liuらは最近、複数のデバイスに自己注意を分散させることで、デバイス毎のメモリボトルネックを克服できる正確な注意アルゴリズムであるRing Attentionを提案した。
本稿では,因果的トランスフォーマーモデルの重要な特別な場合におけるリングアテンションの性能特性について検討し,因果的アテンション計算の三角形構造に起因する作業負荷のアンスを同定する。
我々は, この不均衡を解消するために, 簡単なリングアテンション拡張を提案する。
連続したサブシーケンスを持つデバイスの代わりに、各デバイスはシーケンス全体を通して均一に分散されたトークンのサブセットを持ち、それがより多くのワークロードをもたらすことを示す。
A100 GPUとTPUv4上でStriped Attentionを実行する実験では、256kのシーケンス長での因果トランスフォーマートレーニングにおいて、元のRing Attentionアルゴリズムよりも最大1.45倍のスループット向上を実現した。
さらに、16 tpuv4 チップでは,シーケンス長 786k で 1.65 倍の高速化を達成できた。
私たちは実験用のコードをオープンソースとしてリリースします
関連論文リスト
- SinkLoRA: Enhanced Efficiency and Chat Capabilities for Long-Context Large Language Models [4.497551890206997]
自己保持機構は、シーケンス長で2次スケールする。
LongLoRAは、コンテキスト拡張を有効に可能にしたスパースアテンション(S(2)-Attn)を提案した。
SinkLoRAは相変わらずバニラの注意ほど効率的ではなく、完全な注意よりも難易度の改善の39%にしか達していない。
論文 参考訳（メタデータ） (2024-06-09T07:23:34Z) - FAST: Factorizable Attention for Speeding up Transformers [1.3637227185793512]
本稿では,スペーシフィケーションを伴わずに,注目行列の完全な表現を維持する線形スケールアテンション機構を提案する。
その結果、我々の注意機構は堅牢な性能を示し、自己注意が使用される多様なアプリケーションに対して大きな可能性を秘めていることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T18:59:39Z) - Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence
Lengths in Large Language Models [20.78813311569383]
本稿では、線形アテンションによる理論計算の利点を実現するための最初の線形アテンション実装であるLightning Attentionを紹介する。
具体的には、従来のアテンション機構をブロック内に適用し、インターブロックに対して線形アテンションカーネルのトリックを適用する。
異なるモデルサイズとシーケンス長について様々な実験を行った。
論文 参考訳（メタデータ） (2024-01-09T16:27:28Z) - DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。
本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。
最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
論文 参考訳（メタデータ） (2023-10-05T03:47:57Z) - Ring Attention with Blockwise Transformers for Near-Infinite Context [88.61687950039662]
本稿では,複数のデバイスにまたがって長いシーケンスを分散するために,ブロックワイドな自己注意とフィードフォワードの計算を利用する,ブロックワイドトランスフォーマーを用いたリングアテンション(リングアテンション)を提案する。
提案手法では,先行メモリ効率の変換器で達成可能なものよりも,デバイス数倍のシーケンスのトレーニングと推論が可能となる。
論文 参考訳（メタデータ） (2023-10-03T08:44:50Z) - Faster Causal Attention Over Large Sequences Through Sparse Flash
Attention [45.18552512844457]
FlashAttentionを拡張して、大量の注目空間パターンに対応します。
変換言語モデルのトレーニング速度を、それぞれ$2.0times$と$3.3times$で、それぞれ$8k$と$16k$のシーケンスで増加します。
論文 参考訳（メタデータ） (2023-06-01T21:33:59Z) - Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing
Important Tokens [65.4435926060951]
本稿では,超長周期の変換器の効率を,各層でより小さな表現に圧縮することで向上することを提案する。
我々のアルゴリズムは効率的であるだけでなく(4Kと16Kのベースラインに比べて3倍以上の効率向上を達成する)、多数のタスクで競合/ベターパフォーマンスを提供する。
論文 参考訳（メタデータ） (2023-05-07T10:32:18Z) - FlashAttention: Fast and Memory-Efficient Exact Attention with
IO-Awareness [80.3586155104237]
FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。
これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。
FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
論文 参考訳（メタデータ） (2022-05-27T17:53:09Z) - Boosting Crowd Counting via Multifaceted Attention [109.89185492364386]
大規模なバリエーションは、しばしば群衆画像の中に存在する。
CNNの固定サイズ畳み込みカーネルも、最近の視覚変換器の固定サイズアテンションも、このような変動には対処できない。
局所空間関係符号化におけるトランスフォーマーモデルを改善するための多面的注意ネットワーク(MAN)を提案する。
論文 参考訳（メタデータ） (2022-03-05T01:36:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。