論文の概要: Rethinking Heterogeneous System Disaggregation for Subquadratic Attention
- arxiv url: http://arxiv.org/abs/2609.13134v1
- Date: Fri, 11 Sep 2026 17:55:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 10:54:53.431453
- Title: Rethinking Heterogeneous System Disaggregation for Subquadratic Attention
- Title（参考訳）: 準4次注意のための不均一系解離の再考
- Abstract要約: フロンティア言語モデルは、推論中のメモリフットプリントと計算要求を減らすために、サブクワッドアテンションを積極的に使用しています。
二次的注意のメモリフットプリントと算術強度の差分推定は,スループットとエネルギー効率を著しく向上させることができることを示す。
- 参考スコア（独自算出の注目度）: 5.99236858189867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier language models are more aggressively using subquadratic attention to reduce the memory footprint and compute requirements during inference while still delivering frontier accuracy. While existing systems make dense attention-centric disaggregated serving decisions, we show that disaggregating inference around the unique arithmetic intensity and memory footprint of subquadratic attention LLMs can achieve significant throughput and energy efficiency gains on emerging DRAM-based and SRAM-only heterogeneous systems. We introduce SQD (SubQuadratic Disaggregation), a fine-grained heterogeneous disaggregation scheme that splits decode by quadratic and subquadratic attention rather than by operator type, and that applies across subquadratic attention variants. For sparse attention LLMs, we disaggregate decode into top-k selection, which must index through the full KV, and top-k attention plus FFN, which have static memory footprints. For linear and sliding-window attention LLMs, we disaggregate decode into dense attention layers and subquadratic attention layers plus FFN. In an adjusted 8xB200 heterogeneous system proxy, we observe average tokens/J improvements of 53% on GLM 5.2, 31% on Nemotron 3 Ultra, and 56% on Gemma 4 31B over the strongest GPU-only baselines. In an analytical model of a Rubin plus LPX system with fixed power budgets, we observe 1.2x to 1.5x tighter achievable latencies and up to 3.6x higher throughput over the best baseline of attention-FFN disaggregation. Our experiments also reveal architectural insights on chip and interconnect provisioning for next-generation heterogeneous systems serving subquadratic attention.
- Abstract（参考訳）: フロンティア言語モデルは、フロンティア精度を提供しながら、推論中のメモリフットプリントと計算要求を減らすために、サブクアクラティックアテンションを積極的に使用しています。
既存のシステムは集中型注意中心のサービス決定を分解するが、サブクワッドアテンションのユニークな演算強度とメモリフットプリントに関する分散推論は、新たなDRAMベースおよびSRAM専用ヘテロジニアスシステムにおいて大きなスループットとエネルギー効率向上を実現することができることを示す。
SQD(SubQuadratic Disaggregation)は,演算子型ではなく二次的および二次的注意によって復号を分割する,細粒度の不均一な分解スキームである。
スパースアテンションLLMでは、デコードをトップk選択に分解し、フルKVと静的メモリフットプリントを持つトップkアテンションとFFNをインデクシングする必要がある。
リニア・スライディング・ウインドウ・アテンションLLMでは,デコードから高密度のアテンション層と準4次アテンション層とFFNを分解する。
In adjusted 8xB200 heterogeneous system proxy, we observed average tokens/J improvements of 53% on GLM 5.2, 31% on Nemotron 3 Ultra, and 56% on Gemma 4 31B over the highest GPU-only baselines。
固定電力予算を持つRubin + LPX系の解析モデルでは、1.2倍から1.5倍の厳密なレイテンシと3.6倍のスループットで注意-FFNの解離を観測する。
また, 次世代異種システムにおけるチップと相互接続に関するアーキテクチャ上の知見も明らかにした。
関連論文リスト
- CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。
ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。
ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
論文 参考訳（メタデータ） (2026-09-01T22:49:46Z) - Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳（メタデータ） (2026-05-30T14:29:43Z) - Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。
既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。
本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
論文 参考訳（メタデータ） (2026-05-19T12:01:13Z) - Exact Linear Attention [0.0]
Exact Linear Attention (ELA) はカーネル関数の正確な分解特性を利用してトランスフォーマー注意のための線形計算複雑性を実現する。
ELAは最大で6倍高速な復号化とKVキャッシュメモリ使用率の75%削減を実現している。
我々は、線形アテンション原理を視覚モデルに拡張し、最大4.3倍のGPU推論速度と7.9倍のパラメータ削減を競合検出精度で達成するYOLO-LATを得る。
論文 参考訳（メタデータ） (2026-05-13T08:06:48Z) - BLASST: Dynamic BLocked Attention Sparsity via Softmax Thresholding [28.11907989174509]
本稿では,事前計算やプロキシスコアを使わずに動的にアテンション行列をプルークする,ドロップインスパースアテンション手法であるBLASSTを紹介する。
本手法では,オンラインソフトマックスからの既定しきい値と既存の情報を用いて,無視可能な注意点の同定を行う。
最適しきい値と文脈長の逆関係を明らかにする自動校正法を開発した。
論文 参考訳（メタデータ） (2025-12-12T23:30:43Z) - Hybrid Systolic Array Accelerator with Optimized Dataflow for Edge Large Language Model Inference [8.475319961845903]
エッジアクセラレータは、高い領域効率を実現し、外部メモリアクセスを最小限にする。
本稿では,ハイブリッドシストリックアレイアーキテクチャを特徴とするエッジLLM推論アクセラレータを提案する。
我々のソリューションは、ロングインプット/ロングアウトプットのシナリオで1.3B LLMを実行しながら247/117 (token/s/mm2)を達成する。
論文 参考訳（メタデータ） (2025-07-11T20:27:30Z) - Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。
SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
論文 参考訳（メタデータ） (2025-05-10T17:15:49Z) - Exploiting Unstructured Sparsity in Fully Homomorphic Encrypted DNNs [0.37570612254620583]
プライバシーに敏感な環境でのディープニューラルネットワーク(DNN)は、完全同型暗号化(FHE)における計算オーバーヘッドによって制約される
本稿では,FHE行列乗算法における非構造的空間性について,モデルの精度要件を維持しつつ,その負担を軽減する方法として検討する。
本研究では,任意の行列乗法で空間空間を利用でき,全ての空間領域において,ベースラインナイーブアルゴリズムと比較して実行時利益が得られることを示した。
論文 参考訳（メタデータ） (2025-03-12T09:24:31Z) - LiVOS: Light Video Object Segmentation with Gated Linear Matching [116.58237547253935]
LiVOSはリニアアテンションによるリニアマッチングを利用する軽量メモリネットワークである。
長くて高解像度のビデオでは、STMベースのメソッドと53%のGPUメモリで一致し、32Gの消費者向けGPU上で4096pの推論をサポートする。
論文 参考訳（メタデータ） (2024-11-05T05:36:17Z) - Hyperbolic Fine-tuning for Large Language Models [56.54715487997674]
本研究では,大規模言語モデル(LLM)の非ユークリッド的特徴について検討する。
トークン埋め込みは高い双曲性を示し,埋め込み空間に木のような構造が潜んでいることを示す。
双曲的低ランク効率微調整法HypLoRAを導入し, 双曲的多様体上で直接低ランク適応を行う。
論文 参考訳（メタデータ） (2024-10-05T02:58:25Z) - S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。
スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。
本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
論文 参考訳（メタデータ） (2024-07-25T00:27:07Z) - ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching [9.884452250478216]
我々は,KVキャッシングによる課題に対処するアルゴリズム-システム共設計ソリューションであるALISAを提案する。
アルゴリズムレベルでは、ALISAはスパースウィンドウ注意(SWA)アルゴリズムを介して新しいトークンを生成する上で最も重要なトークンを優先順位付けする。
システムレベルでは、ALISAは3フェーズのトークンレベルの動的スケジューリングを採用し、キャッシュと再計算の間のトレードオフを最適化する。
論文 参考訳（メタデータ） (2024-03-26T01:46:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。