論文の概要: FlyWheel: Attention Kernels Built for the TPU

• arxiv url: http://arxiv.org/abs/2611.01426v1
• Date: Sun, 01 Nov 2026 02:07:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.473924
• Title: FlyWheel: Attention Kernels Built for the TPU
• Title（参考訳）: FlyWheel: TPU用に構築された注意カーネル
• Abstract要約: ソフトマックスとリニアアテンションの両方のための高速TPUカーネルであるFlyWheelを紹介する。 FlyWheelはベクトルの作業を減らすためにソフトマックスと三角形の反転を再構成する。 その後、実行遅延を隠すために独立してオーバーラップする。
• 参考スコア（独自算出の注目度）: 8.421354808604205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention kernels on Tensor Processing Units (TPUs) often underutilize their matrix units (MXUs) because of repeated matrix operand loads, vector-intensive computation, and dependencies that leave MXUs idle. We present FlyWheel, a set of fast TPU kernels for both softmax and linear attention. FlyWheel reformulates softmax and triangular inversion to reduce vector work, while coordinating data layouts to improve matrix operand reuse. It then overlaps independent computation to hide execution latency. We apply these techniques to both softmax attention and Gated DeltaNet on TPU v6e and v7x. FlyWheel speeds up softmax attention by up to $4.14\times$ over the state-of-the-art RPA kernel and $1.80\times$ over Splash Attention, reaching 81% of peak BF16 throughput on v6e. It also speeds up Gated DeltaNet prefill by up to $3.61\times$. Integrated into vLLM serving Qwen3.8-27B, FlyWheel improves prefill throughput by up to $1.56\times$ while maintaining comparable accuracy.
• Abstract（参考訳）: テンソル処理ユニット (TPU) 上のアテンションカーネルは、繰り返し行列演算子負荷、ベクトル集約計算、MXUをアイドル状態にしておく依存性のために、その行列ユニット (MXU) を不使用にすることが多い。 ソフトマックスとリニアアテンションの両方のための高速TPUカーネルであるFlyWheelを紹介する。 FlyWheelは、ソフトマックスと三角形の反転を修正してベクトル処理を削減し、データレイアウトを調整して行列オペランドの再利用を改善する。 そして、実行遅延を隠すために、独立した計算を重複させる。 これらの手法を,TPU v6e と v7x 上の Gated DeltaNet と Softmax attention の両方に適用する。 FlyWheelは、最先端のRPAカーネルよりも4.14\times$、Splash Attentionよりも1.80\times$で、v6eではピーク時のBF16スループットの81%に達した。 また、Gated DeltaNetのプリフィルを最大3.61ドルまで高速化する。 Qwen3.8-27BのvLLMに統合されたFlyWheelは、プリフィルスループットを同等の精度を維持しながら最大1.56\times$で改善した。

関連論文リスト

• Model Casting and Low-Parameter Gating: Towards More Sparsely Activated FFNs [30.053418749259777]
  本稿では,フィードフォワードネットワーク層内のアクティベーションを劇的に分散させる中級学習レシピであるモデルキャスティングを紹介する。 次に、最大理論速度を向上する新しいFFN設計であるLoPA Gatingを導入する。
  論文  参考訳（メタデータ） (2026-09-25T20:19:21Z)
• VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
  トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。 V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。 ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
  論文  参考訳（メタデータ） (2026-09-14T16:17:35Z)
• Hand-Written PTX Tensor-Core GEMM Kernels: A Multi-Precision Study on NVIDIA L4 [0.7265954868708899]
  コアカーネルは非同期データ移動から構築された低レベルのPTXパイプラインに依存している。 ほとんどのアプリケーションコードは、WMMA C++ APIを通じて間接的にCoresにアクセスする。 WMMAを手書きのPTXに置き換えるのはいつ頃なのか?
  論文  参考訳（メタデータ） (2026-08-10T18:13:00Z)
• Fast Inference with Kronecker-Sparse Matrices [4.387337528923525]
  KS行列乗算のための既存のGPUカーネルは、高いデータ移動コストに悩まされている。 本稿では、これらのオーバーヘッドを解消する、融合した出力定常GPUカーネルを提案する。 FP32では,VT-S/16では最大22%,GPT-2媒体では16%のレイテンシ低下を示した。
  論文  参考訳（メタデータ） (2024-05-23T19:36:10Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction [67.11722682878722]
  この研究は、新しいマルチスケール線形注意を持つ高解像度ビジョンモデルのファミリーであるEfficientViTを提示する。 マルチスケール線形注意は,グローバルな受容場とマルチスケール学習を実現する。 EfficientViTは従来の最先端モデルよりも優れたパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-05-29T20:07:23Z)
• Density Matrix Renormalization Group with Tensor Processing Units [0.0]
  GoogleのProcessing Units(TPU)は、機械学習ワークロードの高速化とスケールアップに特化した集積回路である。 本研究では、局所量子多体ハミルトニアンの基底状態を計算するための強力な数値的アプローチである密度行列再正規化群(DMRG)の高速化とスケールアップにTPUを用いることを実証する。
  論文  参考訳（メタデータ） (2022-04-12T10:40:14Z)
• Monarch: Expressive Structured Matrices for Efficient and Accurate Training [64.6871423399431]
  大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。 計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。 ハードウェア効率のよい行列(Monarch)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:37:29Z)
• Giga-scale Kernel Matrix Vector Multiplication on GPU [19.663081364196778]
  Kernel matrix-vector multiplication (KMVM) は、機械学習と科学計算の基礎となる演算である。 KMVMはメモリと時間の両方で二次的にスケールする傾向があるため、アプリケーションはしばしばこれらの計算制約によって制限される。 本稿では,これらのスケーリング問題に対処するため,textitFaster-Fast and Free Memory Method(f30,000m$)という新しい近似手法を提案する。
  論文  参考訳（メタデータ） (2022-02-02T15:28:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。