Fugu-MT 論文翻訳(概要): FlashAttention for Scalable Vector Architectures

論文の概要: FlashAttention for Scalable Vector Architectures

arxiv url: http://arxiv.org/abs/2608.18656v1
Date: Wed, 19 Aug 2026 08:02:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-20 20:13:55.33697
Title: FlashAttention for Scalable Vector Architectures
Title（参考訳）: スケーラブルなベクトルアーキテクチャのためのFlashAttention
Abstract要約: 本稿では,FlashAttention-Vを提案する。FlashAttentionはスケーラブルなベクトルアーキテクチャのためのブロックされたFlashAttentionで,短いベクトルから非常に長いベクトルへ効率的に適応する。我々は,FlashAttention-VがスカラーFlashAttentionよりも22x-42xの高速化を実現していることを示す。デコード中、FlashAttention-VはスカラーFlashAttentionよりも512ビットのベクトル長を使用して8x-11xのスピードアップを達成する。
参考スコア（独自算出の注目度）: 0.05735035463793007
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Inference with transformer models on CPUs is increasingly important, especially for Small Language Models (SLMs), where vector architectures are emerging as a promising execution substrate. The attention module is a major bottleneck due to high memory bandwidth requirements; FlashAttention mitigates this by fusing operations to improve data locality and reduce intermediate memory traffic. In this paper, we present FlashAttention-V, a blocked FlashAttention for scalable vector architectures that adapts efficiently from short to very long vectors by exploiting parallelism across attention heads, inter-head packing to enable efficient utilization of vector lengths beyond the head dimension, and improving vector register utilization and memory access locality. We integrate FlashAttention-V into ggml within llama.cpp and evaluate it on TinyLlama, Llama 3.2, Qwen2.5, and Pythia-410M using gem5 and a Banana Pi BPI-F3. On the Banana Pi BPI-F3, we confirm that loop reordering and loop unrolling across attention heads are effective optimization principles, scaling performance gains with larger models and most pronounced with short contexts and during decoding. Simulation-based analysis shows that FlashAttention-V achieves 22x-42x speedup over scalar FlashAttention at 512-bit VL in prefill, with an additional 2x-2.5x gain scaling to 64 lanes and 4096-bit VL. During decode, FlashAttention-V achieves 8x-11x speedup using 512-bit vector lengths over scalar FlashAttention, with performance showing diminishing sensitivity to vector width and lane count due to single-token, memory-bound execution. We further identify structural bottlenecks in Q8_0 quantized linear layers that limit arithmetic amortization under long-vector execution, consistent across RVV and Arm SVE, indicating that current quantization formats pose a fundamental challenge to long-vector scalability.
Abstract（参考訳）: CPU上のトランスフォーマーモデルによる推論は、特にスモール言語モデル(SLM)では、ベクターアーキテクチャが有望な実行基盤として現れている。 FlashAttentionは、データのローカリティを改善し、中間メモリトラフィックを減らすために、操作を融合することでこれを緩和する。本稿では,FlashAttention-Vを提案する。このFlashAttention-Vは,注目ヘッド間の並列性を活用し,ヘッド次元を超えてベクトル長を効率的に活用し,ベクトルレジスタの利用率とメモリアクセスの局所性を向上させることにより,短時間から非常に長いベクトルアーキテクチャに効率よく適応する,スケーラブルなFlashAttentionをブロックしたFlashAttention-Vを提案する。我々は FlashAttention-V を llama.cpp 内の ggml に統合し,gem5 と Banana Pi BPI-F3 を用いて TinyLlama,Llama 3.2,Qwen2.5,Pythia-410M 上で評価する。バナナ・パイのBPI-F3では、注目ヘッドをまたいだループのリオーダーとループのアンロールが効果的な最適化の原則であり、より大きなモデルで性能向上を拡大し、短いコンテキストや復号時に最も顕著であることを確認した。シミュレーションベースの分析によると、FlashAttention-VはスカラーのFlashAttentionよりも22x-42xのスピードアップを実現している。デコード中、FlashAttention-VはスカラーFlashAttentionよりも512ビットのベクトル長を使用して8x-11xのスピードアップを達成する。さらに,Q8_0量子化線形層の構造的ボトルネックを明らかにし,長ベクトル実行時の算術的アモーティゼーションを制限し,RVVとArm SVEに一貫性を持たせることにより,現在の量子化フォーマットが長ベクトルスケーラビリティに根本的な課題をもたらすことを示す。

関連論文リスト

Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。 FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
論文参考訳（メタデータ） (2026-08-31T15:13:20Z)
FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving [45.624568309628756]
ロングコンテキストモデリングは、大規模言語モデルにとって重要な機能である。以前の作業であるFlashPrefillは、瞬時パターン発見と最大ベースの動的しきい値設定によって、このコストを軽減します。 FlashPrefill V2は、FlashPrefillをプロトタイプから、3次元で機能する実用的なロングコンテキストへと進化させる。
論文参考訳（メタデータ） (2026-08-20T08:02:55Z)
VFA: Relieving Vector Operations in Flash Attention with Global Maximum Pre-computation [5.279829639786756]
FlashAttentionスタイルのオンラインソフトマックスは、線形メモリによる正確な注意計算を可能にする。オンラインソフトマックスの非マルチコンポーネントはベクトルまたはSIMD制限となり、遅延が支配的になる。本稿では,Vector Relieved Flash Attention (VFA)を提案する。
論文参考訳（メタデータ） (2026-04-14T14:28:50Z)
FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling [20.849774181776414]
FlashAttention-4はcuDNN 9.13で最大1.3$times$、BF16でB200 GPUで2.7$times$Tritonで最大2.7$times$を達成している。従来のC++テンプレートベースのアプローチと比較して20～30$times$高速なコンパイルタイムを実現しています。
論文参考訳（メタデータ） (2026-03-05T18:24:49Z)
FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs [2.9406946721643092]
本稿では,単一インスタンス配置シナリオに対するMLA推論を強化する新しいフレームワークであるFlashMLA-ETAPを紹介する。 ETAP は、KV コンテキスト長を WGMMA 操作の (M)-次元と整合させるために、変換による注意計算を再構成する。 FlashMLA-ETAPは64Kシーケンス長(バッチサイズ16)でのFlashMLAの2.78倍の高速化を実現し、それぞれFlashAttention-3とFlashInferの5.24倍と4.94倍の改善を実現している。
論文参考訳（メタデータ） (2025-05-13T17:45:34Z)
vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文参考訳（メタデータ） (2024-07-22T14:37:58Z)
Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers [4.674454841332859]
トランスフォーマーベースのモデルは、自然言語処理の最も広く使われているアーキテクチャの1つとして登場した。これらの巨大なモデルはメモリが空腹で、最先端のAIアクセラレータでも大きな推論レイテンシが生じる。本稿ではトークン生成フェーズの自己認識をスケーラブルに計算する手法であるLeanAttentionを提案する。
論文参考訳（メタデータ） (2024-05-17T00:52:39Z)
An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
論文参考訳（メタデータ） (2024-03-11T14:35:32Z)
DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
論文参考訳（メタデータ） (2023-10-05T03:47:57Z)
FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning [11.508362885430133]
非対称なGPUメモリ階層を利用して、メモリの大幅な節約と実行時の高速化を実現しています。 FlashAttentionはまだGEMM(Optimized matrix-multiply)操作ほど高速ではなく、理論上の最大FLOP/sの25-40%にしか達していない。これらの問題に対処するために、より優れた作業パーティショニングを備えたFlashAttention-2を提案する。
論文参考訳（メタデータ） (2023-07-17T17:50:36Z)
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness [80.3586155104237]
FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。 FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
論文参考訳（メタデータ） (2022-05-27T17:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。