論文の概要: Programming AMD XDNA NPUs with Open-source Compiler Tools: A FlashAttention Case Study

• arxiv url: http://arxiv.org/abs/2609.21264v1
• Date: Fri, 18 Sep 2026 03:22:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.841905
• Title: Programming AMD XDNA NPUs with Open-source Compiler Tools: A FlashAttention Case Study
• Title（参考訳）: オープンソースコンパイラツールによるAMD XDNA NPUのプログラミング:FlashAttention Case Study
• Abstract要約: AMD XDNAのような空間的NPUは、小さなローカルメモリの横にあるタイルを計算し、それらの間のデータ移動をソフトウェアに任せる。 XDNA 1 と XDNA 2 の4つの参照設計を比較し、各演算子を個別に動作させ、チップ上の演算子間の2つのストリームと3つの注意段階全てを1つのカーネルに融合させる。 XDNA 2では、完全なエンドツーエンド実行で3.62 TFLOP/sに達し、2Kトークン以上の集積GPUの5.3から7.2倍のエネルギー効率を持つ。
• 参考スコア（独自算出の注目度）: 1.4860505868925091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatial NPUs such as AMD XDNA place compute tiles beside small local memories and leave data movement between them to software. Mapping a multi-stage workload onto such a device is largely a question of where the intermediate tensors live. We report what we learned making those choices for FlashAttention with the open-source IRON and MLIR-AIR flows. We compare four reference designs on XDNA 1 and XDNA 2: one runs each operator separately, two stream between operators on chip, and one fuses all three attention stages into a single kernel. The fused kernel holds the $\boldsymbol{QK}^{\mathsf T}$ scores in compute-tile local memory and reduces partial results over the cascade interconnect, so the scores never return to shared MemTile memory. On XDNA 2, it reaches 3.62 TFLOP/s over complete end-to-end execution, twice the IRON design, with 5.3 to 7.2 times the energy efficiency of the integrated GPU on the same chip at 2K tokens and above. It covers twelve LLM configurations, from BERT to DeepSeek, up to 128K tokens. Roofline analysis at each memory level explains this result and shows when to stop. XDNA 1 has lower ridge points, so streaming on chip already reaches the compute-bound regime: the same fusion that doubles throughput on XDNA 2 is nearly wasted on XDNA 1. Comparing a mapping's operational intensity against each level's ridge point predicts which case applies before writing any code. Fuse until the mapping clears that ridge point, then stop. We release the reference designs as maintained open source.
• Abstract（参考訳）: AMD XDNAのような空間的NPUは、小さなローカルメモリの横にあるタイルを計算し、それらの間のデータ移動をソフトウェアに任せる。 このようなデバイスにマルチステージのワークロードをマッピングすることは、中間テンソルがどこにあるかという問題である。 我々は、オープンソースIRONとMLIR-AIRフローによるFlashAttentionの選択について学んだことを報告します。 XDNA 1 と XDNA 2 の4つの参照設計を比較し、各演算子を個別に動作させ、チップ上の演算子間の2つのストリームと3つの注意段階全てを1つのカーネルに融合させる。 融合カーネルは、計算タイルローカルメモリの$\boldsymbol{QK}^{\mathsf T}$スコアを保持し、カスケード相互接続上の部分的な結果を低減するので、スコアは共有MemTileメモリに戻ることはない。 XDNA 2では、完全なエンドツーエンド実行で3.62 TFLOP/sに達し、2Kトークン以上の集積GPUの5.3から7.2倍のエネルギー効率を持つ。 BERTからDeepSeekまでの12のLM構成を最大128Kトークンにカバーしている。 各メモリレベルでのルーフライン分析はこの結果を説明し、いつ停止するかを示す。 XDNA 1 の隆起点が低く、チップ上でのストリーミングは、XDNA 2 でスループットを倍にするのと同じ融合が、XDNA 1 上でほとんど無駄になる。 マッピングの運用強度を各レベルのリッジポイントと比較すると、コードを書く前にどのケースが適用されるかを予測する。 写像がその隆起点をクリアし、その後停止するまで、偽造する。 オープンソースをメンテする参照設計を公開しています。

関連論文リスト

• VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
  トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。 V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。 ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
  論文  参考訳（メタデータ） (2026-09-14T16:17:35Z)
• Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
  我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。 FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。 最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-08-31T15:13:20Z)
• FLASH-MAXSIM: IO-Aware Fused Kernels for Late-Interaction Scoring [2.159285655678094]
  Flash-MaxSimは、テンソルを作らずに全く同じスコアを計算するIO対応カーネルである。 一致した精度ではPyTorchよりもA100では最大3.9倍高速で、推論メモリは最大16倍、トレーニングメモリは28倍高速である。
  論文  参考訳（メタデータ） (2026-05-28T07:38:27Z)
• FlashSampling: Fast and Memory-Efficient Exact Sampling [62.5203057469482]
  FlashSamplingは正確なサンプリングプリミティブで、LMヘッドのマトゥルにサンプリングを融合し、ロジットテンソルを生成しない。 H100、H200、B200、B300 GPU全体で、FlashSamplingはカーネルレベルのデコードワークロードを高速化する。 エンドツーエンドのvLLM実験では、テストしたモデルで出力トークン当たりの時間を最大19%削減します。
  論文  参考訳（メタデータ） (2026-03-16T19:37:08Z)
• Compiler-First State Space Duality and Portable $O(1)$ Autoregressive Caching for Inference [0.0]
  Mamba-2のステートスペース双対性アルゴリズムは、XLAの融合とタイリングが実際に最適化したものにきれいにマッピングする。 我々は,XLA の標準プリミティブとして,完全な推論パス (プリフィル,キャッシュされた自己回帰復号化) を実装した。 この実装は、単一のJAXソースからCPU、NVIDIA GPU、Google Cloud TPUで無修正で実行される。
  論文  参考訳（メタデータ） (2026-03-10T12:03:00Z)
• A Persistent-State Dataflow Accelerator for Memory-Bound Linear Attention Decode on FPGA [10.452946241750562]
  Gated DeltaNet(GDN)は、成長するKVキャッシュを固定サイズのリカレントステートに置き換える線形アテンションメカニズムである。 このボトルネックはアルゴリズムではなくアーキテクチャであることが示され、全てのサブクワッド列モデルはデコード時に 1 FLOP/B 未満の演算強度を示す。 オンチップBRAMにおいて,フル2MBのリカレント状態を持続的に保持することにより,このボトルネックを解消するFPGAアクセラレータを提案する。
  論文  参考訳（メタデータ） (2026-03-06T06:03:38Z)
• FuseSampleAgg: Fused Neighbor Sampling and Aggregation for Mini-batch GNNs [51.56484100374058]
  FuseSampleAggは、隣人の平均アグリゲーションをGraphSAGEの1つのパスにフューズし、サンプリングする。 Operatorは決定論的であり、標準のPyTorchと統合され、CSVログからすべてのテーブルとフィギュアを再現するスクリプトが同梱されている。
  論文  参考訳（メタデータ） (2025-11-17T17:57:18Z)
• TokenWeave: Efficient Compute-Communication Overlap for Distributed LLM Inference [9.98718571193106]
  大規模言語モデル(LLM)の分散推論は、NVLinkのような高速な相互接続を介して接続されたGPUでさえ、最大20%のオーバーヘッドを発生させることができる。 これらの課題に対処するため、TokenWeaveを紹介します。 私たちの評価では、レイテンシの1.29倍のスピードアップと、複数のモデルやワークロードで1.26倍のスループットを実現しています。
  論文  参考訳（メタデータ） (2025-05-16T14:53:50Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Results of the NeurIPS'21 Challenge on Billion-Scale Approximate Nearest Neighbor Search [57.18075258042082]
  このコンペティションは、ANNSアルゴリズムをハードウェアコスト、精度、性能で数十億ドル規模で比較する。 このコンペティションのために新たに4つの、60億の多様なデータセットをまとめました。
  論文  参考訳（メタデータ） (2022-05-08T02:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。