論文の概要: FlashBoB: I/O-Efficient Exact Backward-over-Backward for Softmax Attention
- arxiv url: http://arxiv.org/abs/2609.24089v1
- Date: Mon, 21 Sep 2026 04:20:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.067633
- Title: FlashBoB: I/O-Efficient Exact Backward-over-Backward for Softmax Attention
- Title（参考訳）: FlashBoB:I/O効率のよいエクササイズがSoftmaxのアテンションに
- Abstract要約: FlashBoBは、ソフトマックスにおけるBoBの正確なI/O効率アルゴリズムである。
これは、1つのA100 80GB GPU上でBoBを$N=262textK$にスケールする。
- 参考スコア（独自算出の注目度）: 32.3219316154658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer models built on the attention mechanism have become a central building block in modern deep learning, yet softmax attention remains a major bottleneck for long-context workloads. While FlashAttention makes the forward and first backward passes I/O-efficient, it does not support backward-over-backward (BoB), which enables exact differentiation through the backward pass for applications such as second-order optimization, test-time training, gradient-based memory, and meta-learning. Existing BoB implementations either materialize large intermediate tensors or exhaust GPU memory at long sequence lengths. We present FlashBoB, an exact, I/O-efficient algorithm for BoB in softmax attention that keeps computation within on-chip tiles and avoids all $N \times N$ intermediate tensors, where $N$ is the sequence length. The key insight is a hierarchical affine structure in the softmax double backward: two row-wise scalars determine all outputs through affine transformations. This yields a two-pass schedule with bounded on-chip static random-access memory (SRAM) usage and minimal off-chip high-bandwidth memory (HBM) traffic. FlashBoB achieves $Θ(N^2 d^2/M)$ HBM traffic ($d$ is the head dimension and $M$ is the memory size) and, within the standard FlashAttention-style score-recomputation model, matches the inherited large-cache lower bound for exact forward attention. Empirically, it scales exact attention BoB to $N=262\text{K}$ on a single A100 80GB GPU, where prior PyTorch exact baselines fail by $N=16\text{K}$, and is up to $6.3\times$ faster than FlashBack. These results make exact second-order attention practical at long-context sequence lengths where prior implementations cannot run efficiently.
- Abstract（参考訳）: 注意機構上に構築されたトランスフォーマーモデルは、現代のディープラーニングにおいて中心的なビルディングブロックとなっているが、ソフトマックスのアテンションは、長いコンテキストのワークロードにおいて大きなボトルネックとなっている。
FlashAttentionはI/O効率を向上するが、第2次最適化、テストタイムトレーニング、勾配ベースのメモリ、メタラーニングなどのアプリケーションにおいて、下位方向のパスによる正確な差別化を可能にする後方方向のバックワード(BoB)をサポートしない。
既存のBoB実装では、大きな中間テンソルや長いシーケンス長の排ガスGPUメモリが実現されている。
計算をオンチップタイル内に保持し,すべての$N \times N$ 中間テンソルを回避し,そこでは$N$ がシーケンス長である。
鍵となる洞察は、ソフトマックスの二重後方にある階層的なアフィン構造である: 2行のスカラーがアフィン変換を通じて全ての出力を決定する。
これにより、オンチップの静的ランダムアクセスメモリ(SRAM)とオフチップのハイバンド幅メモリ(HBM)のトラフィックが最小限に抑えられる。
FlashBoBは、(N^2 d^2/M)$ HBMトラフィック(d$はヘッドディメンジョン、M$はメモリサイズ)を達成し、標準のFlashAttentionスタイルのスコア再計算モデルでは、継承した大きなキャッシュの低いバウンダリと正確に前向きに一致させる。
実証的には、BoBを1つのA100 80GB GPU上で$N=262\text{K}$にスケールし、PyTorchの正確なベースラインは$N=16\text{K}$に失敗し、FlashBackより最大6.3\times$に高速化する。
これらの結果は,先行実装が効率よく動作できない長文シーケンス長において,正確な2次注意を実践する。
関連論文リスト
- Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。
継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
論文 参考訳（メタデータ） (2026-07-09T07:37:59Z) - Attention at the Theoretical Minimum: A Mathematics of Arrays Framework for Memory-Optimal Transformer Kernels [0.0]
本報告では, ドット積の小型化と, 数値的に安定なソフトマックスについて述べる。
DNFは、標準実装に対して$O(n_dk + n_dv)$データ移動と$O(n2 + n_dk + n_dv)$のデータ移動を達成する。
ハードウェア固有のアクセラレータやFlashAttentionのような経験的なタイリングスキームとは異なり、MoAはアレイ融合、形状変換の正確性、予測コストモデルも同時に提供する。
論文 参考訳（メタデータ） (2026-06-05T14:44:49Z) - Variational Linear Attention: Stable Associative Memory for Long-Context Transformers [0.6117371161379209]
リニアアテンションはソフトマックスアテンションの二次コストを$mathcalO(T)$に下げるが、フロベニウスノルムでは$mathcalO(T)$としてメモリ状態が増加する。
メモリ更新をオンライン最小二乗問題として再構成するtextbfVariational Linear Attention (VLA) を導入する。
論文 参考訳（メタデータ） (2026-05-11T20:03:12Z) - AdaSplash-2: Faster Differentiable Sparse Attention [14.338708749838881]
AdaSplash-2を導入し、$を1--2に計算するのに必要なイテレーション数を削減します。
AdaSplash-2はブロック間隔が適度に高い場合、FlashAttention-2と比較してステップごとのトレーニング時間を一致または改善する。
ダウンストリームタスクでは、効率的な$-entmaxアテンションでトレーニングされたモデルは、短いコンテキスト長でソフトマックスベースラインと一致し、長いコンテキスト設定で大幅に向上する。
論文 参考訳（メタデータ） (2026-04-16T16:03:13Z) - Scaling Attention via Feature Sparsity [50.64995497733461]
超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。
本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。
GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
論文 参考訳（メタデータ） (2026-03-17T08:41:50Z) - FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling [20.849774181776414]
FlashAttention-4はcuDNN 9.13で最大1.3$times$、BF16でB200 GPUで2.7$times$Tritonで最大2.7$times$を達成している。
従来のC++テンプレートベースのアプローチと比較して20～30$times$高速なコンパイルタイムを実現しています。
論文 参考訳（メタデータ） (2026-03-05T18:24:49Z) - LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution [62.830878652285406]
トレーニングデータ属性は、モデルの予測に最も影響したトレーニング例を特定する。
LoRIFは、両方のボトルネックに対処するために、勾配の低ランク構造を利用する。
数百万のサンプルでデータセットでトレーニングされた0.1Bから70Bパラメータのモデルで、LoRIFは最大20$timesのストレージ削減とクエリ時の高速化を実現している。
論文 参考訳（メタデータ） (2026-01-29T16:18:34Z) - DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。
本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。
最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
論文 参考訳（メタデータ） (2023-10-05T03:47:57Z) - FlashAttention-2: Faster Attention with Better Parallelism and Work
Partitioning [11.508362885430133]
非対称なGPUメモリ階層を利用して、メモリの大幅な節約と実行時の高速化を実現しています。
FlashAttentionはまだGEMM(Optimized matrix-multiply)操作ほど高速ではなく、理論上の最大FLOP/sの25-40%にしか達していない。
これらの問題に対処するために、より優れた作業パーティショニングを備えたFlashAttention-2を提案する。
論文 参考訳（メタデータ） (2023-07-17T17:50:36Z) - FlashAttention: Fast and Memory-Efficient Exact Attention with
IO-Awareness [80.3586155104237]
FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。
これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。
FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
論文 参考訳（メタデータ） (2022-05-27T17:53:09Z) - ABC: Attention with Bounded-memory Control [67.40631793251997]
我々は,有界メモリ制御 (ABC) を1つの抽象概念,すなわち有界メモリ制御 (ABC) に仮定できることを示した。
ABCが新たな可能性を明らかにしました。まずは、他の方法では見分けがつかないような、効率的なアテンションのバリエーションを接続します。
最後に,既存のABCアプローチからインスピレーションを得たABCの新しい事例を紹介する。
論文 参考訳（メタデータ） (2021-10-06T03:53:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。