論文の概要: Systolic Linear Attention: Co-Designing Tile-Grouped Gated Delta Attention for TPUs
- arxiv url: http://arxiv.org/abs/2611.06828v1
- Date: Wed, 04 Nov 2026 17:42:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.221488
- Title: Systolic Linear Attention: Co-Designing Tile-Grouped Gated Delta Attention for TPUs
- Title(参考訳): 対称線形注意:TPUに対するTile-Grouped Gated Delta Attentionの共同設計
- Abstract要約: Gated DeltaNet (GDN)、Kim Delta Attention (KDA)、GDN-2などのゲートデルタ線形アテンション層はGPU向けに調整される。
textbfSystolic Linear Attention (SLA) を報告する。
SLAはKDAよりも同様の難易度で11%$--24%$の速さで訓練し、マッチした小型走行ではKDAよりも若干低い難易度に達する。
- 参考スコア(独自算出の注目度): 0.04624649417375837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gated-delta linear attention layers such as Gated DeltaNet (GDN), Kimi Delta Attention (KDA), and GDN-2 are tuned for GPUs, where small tensor-core tiles and fast vector registers make per-channel decay rescaling and sequential in-block solves cheap. On Google TPUs, which concentrate compute in wide $256 \times 256$ systolic matrix units backed by a slower vector unit, porting these layers directly leaves half of each matrix tile empty and bottlenecks on vector operations. We present \textbf{Systolic Linear Attention (SLA)}, which reshapes gated delta attention around the matrix unit by widening keys to $256$ with grouped value heads, grouping decay gates into four $64$-channel tiles, and computing the chunk solve entirely with block matrix products in a single fused kernel. On TPU v7x, a full \texttt{SLA-R4} layer runs $1.6\times$--$2.5\times$ faster than the open-source Tokamax KDA kernel ($1.4\times$--$2.4\times$ with exact chunk inversion), driven primarily by head sharing and kernel fusion. Across a $2{,}048$-chip TPU v7x pre-training study of sparse Mixture-of-Experts (MoE) models from $6.5\text{B}$ to $63.1\text{B}$ parameters, SLA trains $11\%$--$24\%$ faster than KDA at similar perplexity, and reaches slightly lower perplexity than KDA in smaller matched-seed runs.
- Abstract(参考訳): Gated DeltaNet (GDN), Kimi Delta Attention (KDA), GDN-2 などのゲートデルタ線形アテンション層は、小さなテンソルコアタイルと高速ベクトルレジスタがチャネルごとの減衰を再スケーリングし、シーケンシャルインブロックを安価に解決するGPU向けに調整されている。
Google TPUは256 \times 256$ systolicMatrix Unitをスローベクターユニットでバックアップし、これらのレイヤを直接移植すると、各マトリックスタイルの半分が空になり、ベクター操作がボトルネックになる。
鍵をグループ化値ヘッドで256ドルに拡大し、崩壊ゲートを4つの6,4$チャネルタイルにグループ化し、チャンクを1つの核でブロック行列積で完全に解くことにより、行列ユニットのデルタアテンションを緩和する。
TPU v7xでは、フルの \texttt{SLA-R4} レイヤが1.6\times$-$2.5\times$を、オープンソースのTokamax KDAカーネル(1.4\times$--$2.4\times$)よりも高速に実行し、主にヘッドシェアリングとカーネル融合によって駆動される。
2${,}048$-chip TPU v7xの事前トレーニングによる6.5\text{B}$から6.3.1\text{B}$パラメータ、SLAトレインの111\%$-24\%$同様の難易度でKDAよりも高速で、マッチした小さなランニングでKDAよりも若干低い難易度に達する。
関連論文リスト
- FlyWheel: Attention Kernels Built for the TPU [8.421354808604205]
ソフトマックスとリニアアテンションの両方のための高速TPUカーネルであるFlyWheelを紹介する。
FlyWheelはベクトルの作業を減らすためにソフトマックスと三角形の反転を再構成する。
その後、実行遅延を隠すために独立してオーバーラップする。
論文 参考訳(メタデータ) (2026-11-01T02:07:51Z) - Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention [84.18724756491505]
我々は,Kim Delta Attentionが単一デルタルール変換とチャネルワイドゲートから供給される第2の外挿を組み合わせることで,2次元回転を実現することを示す。
我々はCKDAの表現性を特徴付け、すべての対角+ランクワン行列がCKDA遷移行列であることを示す。
論文 参考訳(メタデータ) (2026-09-21T15:56:04Z) - Reducing Data Movement in the Galerkin Product of Block Algebraic Multigrid on GPUs [0.0]
3Dの弾力性のために、ファインオペレーターは3倍の3倍の3倍の3倍の3倍の3倍の3倍の6倍の6倍の6倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の3倍の幅を持つ。
共有メモリ型カーネルを検索不要なソートスケジュールで提供し、ポータブルなKokkosチームカーネルの半数以下でバイト数を減らした。
論文 参考訳(メタデータ) (2026-07-30T23:17:29Z) - Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。
1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。
その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
論文 参考訳(メタデータ) (2025-07-01T18:46:27Z) - Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。
ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。
LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
論文 参考訳(メタデータ) (2025-05-27T20:02:59Z) - Density Matrix Renormalization Group with Tensor Processing Units [0.0]
GoogleのProcessing Units(TPU)は、機械学習ワークロードの高速化とスケールアップに特化した集積回路である。
本研究では、局所量子多体ハミルトニアンの基底状態を計算するための強力な数値的アプローチである密度行列再正規化群(DMRG)の高速化とスケールアップにTPUを用いることを実証する。
論文 参考訳(メタデータ) (2022-04-12T10:40:14Z) - 1$\times$N Block Pattern for Network Sparsity [90.43191747596491]
我々は,この制限を破るために,ブロック間隔パターン(ブロックプルーニング)を1時間で定義する新しい概念を提案する。
このパターンはMobileNet-V2の上位1の精度でフィルタプルーニングよりも約3.0%改善されている。
また、重み付けによるCortex-A7 CPUの56.04msの推論も得る。
論文 参考訳(メタデータ) (2021-05-31T05:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。