論文の概要: Attention at the Theoretical Minimum: A Mathematics of Arrays Framework for Memory-Optimal Transformer Kernels

• arxiv url: http://arxiv.org/abs/2606.07713v1
• Date: Fri, 05 Jun 2026 14:44:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.30966
• Title: Attention at the Theoretical Minimum: A Mathematics of Arrays Framework for Memory-Optimal Transformer Kernels
• Title（参考訳）: 理論最小値への注意:メモリ・最適変圧器カーネルのためのアレーフレームワークの数学
• Authors: Lenore Mullin, Gaetan Hains,
• Abstract要約: 本報告では, ドット積の小型化と, 数値的に安定なソフトマックスについて述べる。 DNFは、標準実装に対して$O(n_dk + n_dv)$データ移動と$O(n2 + n_dk + n_dv)$のデータ移動を達成する。 ハードウェア固有のアクセラレータやFlashAttentionのような経験的なタイリングスキームとは異なり、MoAはアレイ融合、形状変換の正確性、予測コストモデルも同時に提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The attention mechanism is the dominant computational bottleneck in modern transformer-based AI. Its standard implementation incurs quadratic memory traffic in the sequence length~$n$, and DRAM accesses cost 100--1000$\times$ more energy than arithmetic operations on contemporary hardware, so any analysis focused solely on FLOP counts fundamentally mischaracterises the bottleneck. We present a Mathematics of Arrays (MoA) reformulation of scaled dot-product attention and its numerically stable softmax, deriving a Denotational Normal Form (DNF) that eliminates all intermediate arrays -- including the implicit transposed-key buffer and every softmax temporary -- by algebraic construction rather than empirical tuning. The DNF achieves $O(n_{dk} + n{_{dv}})$ data movement versus $O(n^2 + n_{dk} + n_{dv})$ for the standard implementation, where $n$ is the sequence length, $dk$ is the key dimensionality and $dv$ the value dimensionality, and is verified numerically against PyTorch at full double-precision floating-point on concrete inputs. Unlike hardware-specific accelerators or empirical tiling schemes such as FlashAttention, MoA simultaneously provides array fusion, shape-transformation correctness, and predictive cost models from a single algebraic framework. Memory minimality is a theorem established before any code is written. A predictive performance model projects $2$--$100\times$ speedup and $2$--$50\times$ energy reduction, with the advantage widening at exascale. The derivation establishes a formally verified pipeline from Python specification through (ONF) Operational Normal Form, and dimension-lifted hardware mapping, providing performance-portable AI kernels of direct relevance to DARPA edge-deployment and DOE exascale priorities.
• Abstract（参考訳）: 注意機構は、現代のトランスフォーマーベースのAIにおける主要な計算ボトルネックである。 標準的な実装はシーケンス長~$n$で二次メモリのトラフィックを発生させ、DRAMアクセスは100-1000$\times$で、現代のハードウェアでの演算よりもエネルギーを消費する。 本稿では,実測的なチューニングではなく代数的構成により,暗黙的な転置キーバッファや任意のソフトマックス仮置バッファを含むすべての中間配列を除去する記述正規形式(DNF)を導出した,スケールドドット積のアテンションと数値的に安定なソフトマックスの再構成について述べる。 DNFは$O(n_{dk} + n{_{dv}})$ データ移動対$O(n^2 + n_{dk} + n_{dv})$を標準実装に対して達成するが、$n$はシーケンス長、$dk$はキー次元、$dv$は値次元であり、具体的な入力の倍精度浮動小数点でPyTorchに対して数値的に検証される。 ハードウェア固有のアクセラレータやFlashAttentionのような経験的なタイリングスキームとは異なり、MoAは配列融合、形状変換の正確性、単一の代数的フレームワークからの予測コストモデルも同時に提供する。 メモリ最小性(Memory minimality)は、コードを記述する前に確立された定理である。 予測性能モデルは、2ドルから100ドルまでのスピードアップと2ドルから50ドルまでのエネルギー削減を予想する。 この派生は、Python仕様から(ONF)オペレーショナルノーマルフォーム(Operational Normal Form)を通じて正式に検証されたパイプラインを確立し、DARPAのエッジデプロイとDOEのスケールの優先順位に直接関連した、パフォーマンス対応のAIカーネルを提供する。

関連論文リスト

• Closing the Theory-Practice Gap in Spiking Transformers via Effective Dimension [13.891522069967507]
  スパイキングトランスは、ニューロモルフィックハードウェアで38ドルから57ドル(約3,500円)のエネルギー効率を提供しながら、従来のトランスフォーマーと競合する精度を実現している。 本稿では, 自己注意をスパイクするための最初の包括的表現性理論を確立する。
  論文  参考訳（メタデータ） (2026-04-17T07:15:53Z)
• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• FHECore: Rethinking GPU Microarchitecture for Fully Homomorphic Encryption [2.7777199166440827]
  FHE(Fully Homomorphic Encryption)は、暗号化されたデータを直接計算できるが、膨大な計算とメモリオーバーヘッドを発生させる。 カスタムアクセラレーターはこれらのコストを軽減することができるが、市場投入までの長い時間とFHEアルゴリズムの急速な進化は、長期的な妥当性を脅かす。 本稿では,GPUのストリームマルチプロセッサに直接統合された特殊な機能ユニットであるFHECoreを提案する。
  論文  参考訳（メタデータ） (2026-02-10T02:55:10Z)
• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Conv-Basis: A New Paradigm for Efficient Attention Inference and Gradient Computation in Transformers [16.046186753149]
  最近のLarge Language Models(LLM)におけるトランスフォーマーの成功の鍵は自己認識メカニズムである 我々は、注目行列の畳み込み様構造を利用して、畳み込み行列を用いた注目の効率的な近似法を開発する。 トランスフォーマーモデルにおけるアテンション計算を加速するための新しいパラダイムが、より長いコンテキストへのアプリケーションを支援することを願っています。
  論文  参考訳（メタデータ） (2024-05-08T17:11:38Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Higher-order Derivatives of Weighted Finite-state Machines [68.43084108204741]
  本研究では、重み付き有限状態機械の正規化定数に関する高次微分の計算について検討する。 文献に記載されていないすべての順序の導関数を評価するための一般アルゴリズムを提案する。 我々のアルゴリズムは以前のアルゴリズムよりもはるかに高速である。
  論文  参考訳（メタデータ） (2021-06-01T19:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。