論文の概要: Validating Memory-Optimal Transformer Kernels on Real Hardware: From Formal Derivation to Measured Performance Across Two HPC Clusters

• arxiv url: http://arxiv.org/abs/2609.33916v1
• Date: Sun, 27 Sep 2026 20:52:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 15:38:42.068465
• Title: Validating Memory-Optimal Transformer Kernels on Real Hardware: From Formal Derivation to Measured Performance Across Two HPC Clusters
• Title（参考訳）: 実ハードウェア上でのメモリ・最適トランスフォーマーカーネルの検証:形式的導出から2つのHPCクラスタ間の性能測定まで
• Abstract要約: 我々は、アレーの数学(MoA)を用いて導出したトランスフォーマーカーネルのメモリ最適コスト関数を検証する。 本稿では,CPUとGPUの2つのHPCクラスタ上での測定性能に対して,これらの予測を検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We validate memory-optimal cost functions for transformer kernels derived via the Mathematics of Arrays (MoA). Companion Papers I-IV formally derive kernels for attention forward, backward, fused forward+backward, decode, and the complete block (RMSNorm, gated MLP) as a hardware-independent specification (DNF) transformed to a machine-specific realization (ONF) via gamma, with verification to machine precision against PyTorch. This paper checks those predictions against measured performance on two HPC clusters (Purdue Anvil, NCSA Delta) across CPU and GPU. Three results stand out. (1) We identify and fix a GPU regression: fusing forward+backward, proven to avoid materializing an O(n^2) intermediate, initially ran slower than naive on GPU due to atomic contention. Profiling confirmed 2.00x more atomic instructions; a targeted ONF rewrite reversed it, yielding up to 2.5x speedup. (2) Identical derivations produce markedly different real costs by topology: 535x NUMA-locality penalty on one cluster vs <3x oversubscription on another, showing optimal deployment is a function of the machine's array structure. (3) We report a partially resolved anomaly: identical denotational computations run faster in C than Fortran on CPU but faster in Fortran than C on GPU, narrowed to one dominant kernel and one memory-latency stall mechanism (3.17x time gap matches 3.35x stall gap). We treat hardware-specific optimization as a routine ONF rewrite with fixed, verified DNF, a candidate methodology for scaling AI onto evolving hardware without re-deriving correctness.
• Abstract（参考訳）: 我々は,アレーの数学(MoA)を用いて導出したトランスフォーマーカーネルのメモリ最適コスト関数を検証する。 Companion Papers I-IV は、ハードウェアに依存しない仕様 (DNF) として、マシン固有の実現 (ONF) に変換され、PyTorch に対するマシン精度の検証を行う。 本稿では、CPUとGPUの2つのHPCクラスタ(Purdue Anvil, NCSA Delta)上での測定性能に対する予測を検証した。 3つの結果が浮き彫りだ。 1) O(n^2)中間体を物質化するのを避けることが証明されたfusing forward+backwardのGPU回帰を同定し,修正する。 プロファイリングにより2.00倍の原子命令が確認され、ターゲットのONFリライトが逆転し、最大2.5倍のスピードアップが得られた。 2) 同定的導出はトポロジによって著しく異なる実際のコストを生み出す: 1つのクラスタで535x NUMA-ローカル性ペナルティ、もう1つのクラスタでの<3xオーバーサブスクライブに対して、最適なデプロイは、マシンの配列構造の関数であることを示す。 計算はCPU上ではFortranよりも高速だが、GPU上ではFortranの方が高速で、カーネルが1つ、メモリ遅延の停止機構が1つに制限されている(3.17倍の時間ギャップは3.35倍のストールギャップと一致する)。 我々は、ハードウェア固有の最適化を、修正された検証済みのDNFで通常のONF書き換えとして扱う。

関連論文リスト

• Cross-Backend QIEO: Universal Runtime Portability across OpenMP5, CUDA, HIP, and Multi-Language Interfaces [6.781697457234383]
  量子インスパイアされたアルゴリズムは、古典的ハードウェア上での重ね合わせ、干渉、確率的振幅進化などの量子力学的原理をエミュレートする。 このアプローチは物理量子ビットを使わずに最適化を提供し、オーダー・オブ・マグニチュード・スピードアップを実現することが示されている。 採用にとって重要な障壁は、アルゴリズムのパフォーマンスとハードウェアポータビリティの両方を提供する統一された実行フレームワークがないことである。
  論文  参考訳（メタデータ） (2026-09-25T07:25:20Z)
• Correct but Slow: An Empirical Study of the GPU Kernel Evaluation Gap in Modern Domain-Specific Languages [9.908756853186018]
  機能的に有効なカーネルは、置き換えを意図した最適化されたライブラリオペレータのスループットよりもはるかに低い可能性がある。 NVIDIA A100 と GH200 GPU 上の 5 つの演算子カテゴリから,22 の Triton と TileLang のカーネルを用いて,この精度と性能のギャップについて検討した。
  論文  参考訳（メタデータ） (2026-07-05T18:33:12Z)
• Orthogonal Finetuning Made Scalable [92.34573849209238]
  OFT(Orthogonal Finetuning)は、壊滅的な忘れ込みを防止しつつ、パラメータ効率の高い適応を提供するが、実行時とメモリの要求が高いため、実際のデプロイメントが制限される。 ここでは,OFTの計算ボトルネックを重み中心の実装とみなす。 本稿では,行列ベクトル乗法(行列フリー計算)を用いて,計算コストを2次に削減する入力中心の変換法OFTv2を提案する。 これらの変更により、OFTv2は最大10倍の高速トレーニングと3倍のGPUメモリ使用率を達成することができる。
  論文  参考訳（メタデータ） (2025-06-24T17:59:49Z)
• An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks [0.5737287537823071]
  回転同変グラフニューラルネットワークは、空間深層学習タスクにおける技術性能の状態を導出する。 クレーブシュ=ゴルドンテンソル積(Clebsch-Gordon tensor product, CG)は、2つの高次特徴ベクトルと高構造スパーステンソルを交換して高密度出力ベクトルを生成するカーネルである。 我々は、CGテンソル製品用のGPUスパースカーネルジェネレータを導入し、既存のオープンソース実装やクローズドソース実装よりも大幅に高速化する。
  論文  参考訳（メタデータ） (2025-01-23T08:20:47Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。