論文の概要: FlashMask: Efficient and Rich Mask Extension of FlashAttention

• arxiv url: http://arxiv.org/abs/2410.01359v1
• Date: Wed, 2 Oct 2024 09:17:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 21:39:21.774625
• Title: FlashMask: Efficient and Rich Mask Extension of FlashAttention
• Title（参考訳）: FlashMask: FlashAttentionの効率的でリッチなマスク拡張
• Authors: Guoxia Wang, Jinle Zeng, Xiyuan Xiao, Siming Wu, Jiabin Yang, Lujing Zheng, Zeyu Chen, Jiang Bian, Dianhai Yu, Haifeng Wang,
• Abstract要約: FlashMaskはFlashAttentionの拡張であり、アテンションマスクのカラム単位のスパース表現を導入している。 この新しい表現を採用することで、FlashMaskは長いコンテキストシーケンスのモデリングに適した線形メモリ複雑性$O(N)$を達成する。 SFT, LoRA, DPO, RMなどのLLMの微調整およびアライメント訓練におけるFlashMaskの性能を評価する。
• 参考スコア（独自算出の注目度）: 22.810595298076866
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The computational and memory demands of vanilla attention scale quadratically with the sequence length $N$, posing significant challenges for processing long sequences in Transformer models. FlashAttention alleviates these challenges by eliminating the $O(N^2)$ memory dependency and reducing attention latency through IO-aware memory optimizations. However, its native support for certain attention mask types is limited, and it does not inherently accommodate more complex masking requirements. Previous approaches resort to using dense masks with $O(N^2)$ memory complexity, leading to inefficiencies. In this paper, we propose FlashMask, an extension of FlashAttention that introduces a column-wise sparse representation of attention masks. This approach efficiently represents a wide range of mask types and facilitates the development of optimized kernel implementations. By adopting this novel representation, FlashMask achieves linear memory complexity $O(N)$, suitable for modeling long-context sequences. Moreover, this representation enables kernel optimizations that eliminate unnecessary computations by leveraging sparsity in the attention mask, without sacrificing computational accuracy, resulting in higher computational efficiency. We evaluate FlashMask's performance in fine-tuning and alignment training of LLMs such as SFT, LoRA, DPO, and RM. FlashMask achieves significant throughput improvements, with end-to-end speedups ranging from 1.65x to 3.22x compared to existing FlashAttention dense method. Additionally, our kernel-level comparisons demonstrate that FlashMask surpasses the latest counterpart, FlexAttention, by 12.1% to 60.7% in terms of kernel TFLOPs/s, achieving 37.8% to 62.3% of the theoretical maximum FLOPs/s on the A100 GPU. The code is open-sourced on PaddlePaddle and integrated into PaddleNLP, supporting models with over 100 billion parameters for contexts up to 128K tokens.
• Abstract（参考訳）: バニラアテンションの計算とメモリ要求は、シーケンス長が$N$で2次的にスケールし、Transformerモデルで長いシーケンスを処理する上で重要な課題となった。 FlashAttentionは、$O(N^2)$メモリ依存を排除し、IO対応メモリ最適化を通じて注意の遅延を低減することで、これらの課題を軽減する。 しかし、特定の注意マスクタイプに対するネイティブサポートは限られており、本質的にはより複雑なマスク要求に対応していない。 以前のアプローチでは、O(N^2)$メモリの複雑さを持つ高密度マスクを使用することで非効率になる。 本稿では,FlashAttentionの拡張であるFlashMaskを提案する。 このアプローチは、幅広いマスクタイプを効率よく表現し、最適化されたカーネル実装の開発を容易にする。 この新しい表現を採用することで、FlashMaskは長いコンテキストシーケンスのモデリングに適した線形メモリ複雑性$O(N)$を達成する。 さらに、この表現により、計算精度を犠牲にすることなく、アテンションマスクのスパーシティを活用することで不要な計算を不要にするカーネル最適化が可能となり、計算効率が向上する。 SFT, LoRA, DPO, RMなどのLLMの微調整およびアライメント訓練におけるFlashMaskの性能を評価する。 FlashMaskは、既存のFlashAttention高密度メソッドと比較して、エンドツーエンドのスピードアップが1.65倍から3.22倍まで、大幅なスループット向上を実現している。 さらに、カーネルレベルの比較では、A100 GPUの最大FLOP/sの37.8%から62.3%を達成し、最新のFlexAttentionを12.1%から60.7%上回った。 コードはPaddlePaddle上でオープンソースとして公開されており、PaddleNLPに統合されている。

関連論文リスト

• FlashSloth: Lightning Multimodal Large Language Models via Embedded Visual Compression [76.01465333271229]
  マルチモーダルな大言語モデル(MLLM)は、実用的な用途において、スロットのように振る舞う。 近年の取り組みは、より効率よく小さなMLLMを構築することに集中しているが、視覚トークンの多さは、実際のスピードアップを制限している。 本稿ではFlashSlothと呼ばれる強力で高速な小型MLLMを提案する。
  論文  参考訳（メタデータ） (2024-12-05T16:34:07Z)
• Efficiently Dispatching Flash Attention For Partially Filled Attention Masks [29.36452085947087]
  トランスフォーマーは様々な用途で広く使われており、その多くがスパースまたは部分的に満たされた注意行列である。 我々はBinary Block Maskingを紹介した。これは非常に効率的な修正であり、マスクを意識することでFlashの注意を高める。 実世界のシナリオから得られたアテンションマスクの実験は、9倍のランタイム改善を示す。
  論文  参考訳（メタデータ） (2024-09-23T15:11:07Z)
• DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
  FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。 本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。 最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-10-05T03:47:57Z)
• FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning [11.508362885430133]
  非対称なGPUメモリ階層を利用して、メモリの大幅な節約と実行時の高速化を実現しています。 FlashAttentionはまだGEMM(Optimized matrix-multiply)操作ほど高速ではなく、理論上の最大FLOP/sの25-40%にしか達していない。 これらの問題に対処するために、より優れた作業パーティショニングを備えたFlashAttention-2を提案する。
  論文  参考訳（メタデータ） (2023-07-17T17:50:36Z)
• Faster Causal Attention Over Large Sequences Through Sparse Flash Attention [45.18552512844457]
  FlashAttentionを拡張して、大量の注目空間パターンに対応します。 変換言語モデルのトレーニング速度を、それぞれ$2.0times$と$3.3times$で、それぞれ$8k$と$16k$のシーケンスで増加します。
  論文  参考訳（メタデータ） (2023-06-01T21:33:59Z)
• DynaMask: Dynamic Mask Selection for Instance Segmentation [21.50329070835023]
  我々は,各インスタンスに最適なマスク解像度を選択するために,計算コストを無視できるマスクスイッチモジュール(MSM)を開発した。 提案手法,すなわちDynaMaskは,高い計算オーバーヘッドで,他の最先端技術よりも一貫した,顕著なパフォーマンス向上を実現する。
  論文  参考訳（メタデータ） (2023-03-14T13:01:25Z)
• Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design [66.39546326221176]
  多くのAIタスクにおいて、注意に基づくニューラルネットワークが普及している。 注意機構とフィードフォワードネットワーク(FFN)の使用は、過剰な計算とメモリ資源を必要とする。 本稿では,注目機構とFFNの両方を近似するために,バタフライの分散パターンを統一したハードウェアフレンドリーな変種を提案する。
  論文  参考訳（メタデータ） (2022-09-20T09:28:26Z)
• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness [80.3586155104237]
  FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。 これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。 FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
  論文  参考訳（メタデータ） (2022-05-27T17:53:09Z)
• Mask Transfiner for High-Quality Instance Segmentation [95.74244714914052]
  高品質で効率的なインスタンスセグメンテーションのためのMask Transfinerを提案する。 当社のアプローチでは, エラーが発生しやすい木ノードを検出し, エラーを並列に自己修正する。 私たちのコードとトレーニングされたモデルは、http://vis.xyz/pub/transfiner.comで公開されます。
  論文  参考訳（メタデータ） (2021-11-26T18:58:22Z)
• BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation [103.74690082121079]
  本研究では,インスタンスレベルの情報とセマンティックな情報と,低レベルの微細な粒度を効果的に組み合わせることで,マスク予測の改善を実現する。 私たちの主な貢献は、トップダウンとボトムアップの両方のインスタンスセグメンテーションアプローチからインスピレーションを得たブレンダーモジュールです。 BlendMaskは、非常に少ないチャネルで、ピクセルあたりの高密度な位置感受性インスタンス機能を効果的に予測し、単一の畳み込み層で各インスタンスの注意マップを学習することができる。
  論文  参考訳（メタデータ） (2020-01-02T03:30:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。