論文の概要: MoA-Structured Decode Attention DNF Derivation, KV-Cache Accumulation, GQA/MQA, and OpenACC Kernel

• arxiv url: http://arxiv.org/abs/2607.19456v1
• Date: Tue, 21 Jul 2026 15:50:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.898815
• Title: MoA-Structured Decode Attention DNF Derivation, KV-Cache Accumulation, GQA/MQA, and OpenACC Kernel
• Title（参考訳）: MoA-Structured Decode Attention DNF Derivation, KV-Cache Accumulation, GQA/MQA, OpenACC Kernel
• Abstract要約: アレイの数学(MoA)を用いたトランスフォーマーアテンションのための4つのメモリ最適推論アーティファクトを導出する。 すべてのプログラムは、PyTorch scaled_dot_product_attentionに対して検証される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We derive four memory-optimal inference artifacts for transformer attention using the Mathematics of Arrays (MoA), each following directly from the forward-pass Denotational Normal Form (DNF) of with the query-row index fixed to the current decode step. The artifacts are: (1)~a single-query decode DNF in which the $ψ$-reduction eliminates the $K^\top$ buffer algebraically, achieving $(d_k + nd_k+ nd_v+ d_v)\times4\,{B}$ Dynamic Random Access Memory (DRAM) traffic result numerically verified to $\|{err}\|_\leq2\times10^{-7}$; (2)~a C/OpenACC Graphics Processing Unit (GPU) kernel with Operational Normal Form (ONF) stride arithmetic and hardware-coalesced memory access, verified to $\|\mathrm{err}\|_\infty=0$ (exact IEEE-754 floating-point arithmetic); (3)~a multi-step KV-cache with $O(d_k+d_v)$ per-step append via MoA concatenation $\#$; and (4)~Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) derived via $ψ$-selection, achieving a proven $\frac {h_q} { h_{kv} }$ reduction in KV traffic. All programs are verified against PyTorch scaled_dot_product_attention.
• Abstract（参考訳）: 本研究では,現在デコードステップに固定されているクエリーロー指数を用いて,前方通過記述正規形(DNF)から直接,アレーの数学(MoA)を用いて,トランスフォーマー注意のための4つのメモリ最適推論アーティファクトを導出する。 1–a C/OpenACC Graphics Processing Unit (GPU) kernel with Operational Normal Form (ONF) stride arithmetic and hardware-coalesced memory access, confirmed to $\|\mathrm{err}\|_\infty=0$ (exact 54-point floating-point 54-7), ~a K-cache+ nd_v+ d_v)\times4\,{B}$ Dynamic Random Access Memory (DRAM) traffic result with $\|{err}\|_\leq2\times10^{-7}$; (2)a C/OpenACC Graphics Processing Unit (GPU) kernel with Operational Normal Form (ONF) stride arithmetic and hardware-coalced memory access, confirmed to $\|\mathrm{err}\|_\infty=0$ (exact 54-point floating-point 54-7), ~a K-cache+(DRAM) multistep-cache+(d-cache+Ov+) pertentioning (DRAM) ; a $-quence (A) $-quence (A) と $-quence (A) で証明された。 すべてのプログラムは、PyTorch scaled_dot_product_attentionに対して検証される。

関連論文リスト

• Optimal T Counts under Sparsity: from QROM to State Preparation and Block Encoding [26.296743455346604]
  多くの量子アルゴリズムは古典的なデータへのコヒーレントなアクセスを必要とし、しばしば量子読み取り専用メモリ(QROM)によってモデル化される。 スパースQROMの$T$数を調べ、$2n$アドレスの$s$だけが非ゼロデータを格納している。 我々の上界はマルチレベルハッシュ方式を使用し、下界はスパースQROMを減らし、適応的なClifford+$T$回路のカウント引数を使用する。
  論文  参考訳（メタデータ） (2026-07-30T14:18:29Z)
• Near-Optimal Dimension Lower Bounds for Single-Vector Embeddings of Maximum Inner Product Similarity [75.14269295861845]
  シングルトンクエリでは、Chamferは最大内部積類似度(MAX-IP)になる。 すべての固定$in(0,1)$に対して、定数は$A_,c_>0$である。 単位球MAX-IPマトリクスは、DNFパターンマトリクスの正確な2値アフィンイメージであり、少なくとも8ドルのギャップがある。
  論文  参考訳（メタデータ） (2026-07-22T17:27:20Z)
• Two-Tower Quantum Matrix Chain Multiplication: Trading Qubits for Depth [73.08853228981701]
  行列連鎖乗法は、科学計算、機械学習、グラフ解析における問題である。 我々は、$K$行列の$mathcalW$を回路深さの量子状態にエンコードする量子サブルーチンであるemphTwo-Tower Matrixを提案する。
  論文  参考訳（メタデータ） (2026-07-14T18:42:40Z)
• Attention at the Theoretical Minimum: A Mathematics of Arrays Framework for Memory-Optimal Transformer Kernels [0.0]
  本報告では, ドット積の小型化と, 数値的に安定なソフトマックスについて述べる。 DNFは、標準実装に対して$O(n_dk + n_dv)$データ移動と$O(n2 + n_dk + n_dv)$のデータ移動を達成する。 ハードウェア固有のアクセラレータやFlashAttentionのような経験的なタイリングスキームとは異なり、MoAはアレイ融合、形状変換の正確性、予測コストモデルも同時に提供する。
  論文  参考訳（メタデータ） (2026-06-05T14:44:49Z)
• Stochastic Sparse Attention for Memory-Bound Inference [19.301894658575502]
  SANTA(Additive No-mult Attention)は,ソフトマックス後の分布から$S ll n_k$インデックスをサンプリングすることで,値キャッシュアクセスを分散する手法である。 また、スコアステージをスパース化するための補完手法としてBernoulli $qKmathsfT$サンプリングを提案する。
  論文  参考訳（メタデータ） (2026-05-03T14:44:14Z)
• How Much Cache Does Reasoning Need? Depth-Cache Tradeoffs in KV-Compressed Transformers [5.705685936981751]
  キーバリュー(KV)キャッシュは、Transformer推論時の主要なメモリボトルネックである。 多段階の推論が劣化する前に、いかに積極的に圧縮できるかを考察する。
  論文  参考訳（メタデータ） (2026-04-20T08:15:17Z)
• Spectral Gaps with Quantum Counting Queries and Oblivious State Preparation [47.600794349481966]
  本研究では、量子ビットの対数数を用いて、加算誤差$epsilonDelta_k$まで値を近似する量子アルゴリズムを提案する。 この分析における重要な技術的ステップは、適切なランダム初期状態の準備であり、最終的には閾値よりも小さい固有値の数を効率的に数えることができる。
  論文  参考訳（メタデータ） (2025-08-28T17:04:18Z)
• Attention with Trained Embeddings Provably Selects Important Tokens [73.77633297039097]
  トーケン埋め込みは言語モデリングにおいて重要な役割を担っているが、この実践的関連性にもかかわらず、理論的な理解は限られている。 本論文は,勾配降下法により得られた埋め込み構造を特徴付けることにより,そのギャップを解消する。 実世界のデータセット(IMDB、Yelp)の実験では、我々の理論が明らかにしたものに近い現象が示されている。
  論文  参考訳（メタデータ） (2025-05-22T21:00:09Z)
• One Pass Streaming Algorithm for Super Long Token Attention Approximation in Sublinear Space [11.735802740426294]
  注意計算は、$O(n2)$の時間複雑性と$O(n2)$の空間複雑性を同時に行う。 ストリーミング方式で1パスのデータのみを読み取る新しいアルゴリズムを導入する。 特に,本アルゴリズムは,超長期トークンを用いたメモリ効率の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-24T18:35:00Z)
• Fast $(1+\varepsilon)$-Approximation Algorithms for Binary Matrix Factorization [54.29685789885059]
  本稿では, 2次行列分解(BMF)問題に対する効率的な$(1+varepsilon)$-approximationアルゴリズムを提案する。 目標は、低ランク因子の積として$mathbfA$を近似することである。 我々の手法はBMF問題の他の一般的な変種に一般化する。
  論文  参考訳（メタデータ） (2023-06-02T18:55:27Z)
• Fast Graph Sampling for Short Video Summarization using Gershgorin Disc Alignment [52.577757919003844]
  高速グラフサンプリングの最近の進歩を利用して,短い動画を複数の段落に効率よく要約する問題について検討する。 実験結果から,本アルゴリズムは最先端の手法と同等の映像要約を実現し,複雑さを大幅に低減した。
  論文  参考訳（メタデータ） (2021-10-21T18:43:00Z)
• Accelerated Zeroth-Order and First-Order Momentum Methods from Mini to Minimax Optimization [133.53164856723782]
  そこで我々は,関数値のみが得られるブラックボックス最小最適化のための新しいアクセラレーションゼロ階運動量 (AccZOM) 法を提案する。 一方,ブラックボックス最小値最適化のためのアクセラレーションゼロ階運動量降下法(Acc-MDA)を提案する。 特に、Acc-MDAは、$tildeO(kappa_y2.5epsilon-3)$の低い勾配の複雑さを、バッチサイズ$O(kappa_y4)$で得ることができる。
  論文  参考訳（メタデータ） (2020-08-18T22:19:29Z)
• Streaming Complexity of SVMs [110.63976030971106]
  本稿では,ストリーミングモデルにおけるバイアス正規化SVM問題を解く際の空間複雑性について検討する。 両方の問題に対して、$frac1lambdaepsilon$の次元に対して、$frac1lambdaepsilon$よりも空間的に小さいストリーミングアルゴリズムを得ることができることを示す。
  論文  参考訳（メタデータ） (2020-07-07T17:10:00Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。