論文の概要: SPARTA: A Sparse Ternary LLM Accelerator with Adaptive Attention and Unified Datapath for Long-Context Edge Inference
- arxiv url: http://arxiv.org/abs/2610.34824v2
- Date: Wed, 04 Nov 2026 16:51:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.580162
- Title: SPARTA: A Sparse Ternary LLM Accelerator with Adaptive Attention and Unified Datapath for Long-Context Edge Inference
- Title（参考訳）: SPARTA: 長期エッジ推論のための適応アテンションと統一データパスを備えたスパース第三次LLM加速器
- Abstract要約: より効率的な長文エッジ推論のためのスパース3次LLM加速器であるSPARTAを提案する。
SPARTAはKVトラフィックをフルアテンションで4.1-4.8倍、最先端のスパースアテンション方式で1.3-1.5倍削減する。
また、1.6-12.0倍のスループット、2.0-4.2倍のエネルギー効率、FIGUT、TeLLMe、MCBPよりも1.3-51.4倍の面積効率を提供する。
- 参考スコア（独自算出の注目度）: 5.825188634192336
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs on edge devices are constrained by limited memory and bandwidth. Although 1.58-bit ternary weights greatly reduce model storage, long-context inference is increasingly bottlenecked by KV-cache traffic and attention. Existing accelerators also use separate datapaths for ternary linear layers and attention, incurring hardware and execution overhead. We present SPARTA, a sparse ternary LLM accelerator for efficient long-context edge inference. SPARTA integrates: (1) a phase-aware sparse dataflow exploiting heterogeneous sparsity across compute-bound prefill and memory-bound decode; (2) a unified compute fabric mapping ternary SpMM/SpMV and bit-serial attention onto shared processing elements to exploit zero-weight and zero-bit sparsity; and (3) an adaptive two-stage attention engine combining page-level Top-k selection to reduce K-cache accesses with token-level Top-p pruning to reduce V-cache traffic. SPARTA reduces KV traffic by 4.1-4.8x over full attention and 1.3-1.5x over a state-of-the-art sparse-attention scheme, with task-dependent quality loss. Compared with NVIDIA Jetson AGX Orin, SPARTA achieves 3.9x higher generation throughput and 8.3x higher end-to-end energy efficiency on average; versus AMD Ryzen 7 9700X, the gains are 5.0x and 81.7x. It also delivers 1.6-12.0x higher throughput, 2.0-4.2x higher energy efficiency, and 1.3-51.4x higher area efficiency than FIGLUT, TeLLMe, and MCBP.
- Abstract（参考訳）: エッジデバイス上のLLMは、メモリと帯域幅の制限によって制限される。
1.58ビットの3次重みはモデル記憶を大幅に減少させるが、長いコンテキスト推論はKVキャッシュのトラフィックと注意によってボトルネックになっている。
既存のアクセラレータも3次線形レイヤと注意のために別々のデータパスを使用しており、ハードウェアと実行オーバーヘッドを発生させている。
より効率的な長文エッジ推論のためのスパース3次LLM加速器であるSPARTAについて述べる。
SPARTAは,(1)計算バウンドプリフィルとメモリバウンドデコードにまたがるヘテロジニアス間隔を利用した相認識スパースデータフロー,(2) 共有処理要素に3次SpMM/SpMVとビットシリアルアテンションをマッピングしてゼロウェイトおよびゼロビットスパシティを活用,(3) ページレベルのTop-k選択を組み合わせた適応2段階アテンションエンジンにより,トークンレベルのTop-pプルーニングによるKキャッシュアクセスを低減し,Vキャッシュトラフィックを低減する。
SPARTAはKVトラフィックをフルアテンションで4.1-4.8倍、最先端のスパースアテンション方式で1.3-1.5倍削減し、タスク依存の品質損失を発生させる。
NVIDIA Jetson AGX Orinと比較すると、SPARTAは平均で3.9倍、エンド・ツー・エンドのエネルギー効率は8.3倍、AMD Ryzen 7 9700Xと比較して5.0倍、81.7倍である。
また、1.6-12.0倍高いスループット、2.0-4.2倍高いエネルギー効率、FIGLUT、TeLLMe、MCBPよりも1.3-51.4倍高い面積効率を提供する。
関連論文リスト
- You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。
シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。
その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
論文 参考訳（メタデータ） (2026-06-04T17:54:04Z) - LightAVSeg: Lightweight Audio-Visual Segmentation [67.18006751024687]
LightAVSegは、セマンティックフィルタリングと空間接地のための分離された設計に置き換わっている。
実験では、軽量メソッド間で新しい最先端を実現することを実証している。
MS3ベンチマークで50.4 mIoUに達し、モバイルプロセッサでの効率的な推論を可能にする。
論文 参考訳（メタデータ） (2026-05-09T08:47:54Z) - Unifying Sparse Attention with Hierarchical Memory for Scalable Long-Context LLM Serving [18.681651346752766]
動的スパースアテンションは、デコーディングステップ毎にKV状態の小さなクエリ依存サブセットだけにアクセスすることで緩和を約束する。
しかし実際には、これらのアルゴリズムによる貯蓄は、エンドツーエンドのシステムレベルのゲインにはほとんど変換されない。
本稿では,階層的なKVストレージで実行パイプラインを協調設計するスパースアテンション対応推論フレームワークSPINを提案する。
論文 参考訳（メタデータ） (2026-04-29T16:02:00Z) - Predictive Multi-Tier Memory Management for KV Cache in Large-Scale GPU Inference [0.0]
キーバリュー(KV)キャッシュメモリ管理は、大規模GPU推論サービスにおける主要なボトルネックである。
現在のシステムは3つの複合的非効率性に悩まされている。
3つの問題すべてに対処する統一システムを提案する。
論文 参考訳（メタデータ） (2026-04-19T21:34:09Z) - AsyncTLS: Efficient Generative LLM Inference with Asynchronous Two-level Sparse Attention [32.26860037633772]
AsyncTLSは、粗粒度ブロックフィルタリングと細粒度トークン選択を組み合わせた階層的スパースアテンションシステムである。
AsyncTLSは、1.2x - 10.0x演算子のスピードアップと1.3x - 4.7xのエンドツーエンドスループットの改善を48k - 96kコンテキストで提供しながら、完全な注意に匹敵する精度を達成する。
論文 参考訳（メタデータ） (2026-04-09T05:15:16Z) - CHIME: Chiplet-based Heterogeneous Near-Memory Acceleration for Edge Multimodal LLM Inference [19.989162649002274]
エッジMLLM推論のためのチップレットベースの異種ニアメモリ高速化であるCHIMEを提案する。
FastVLM (0.6B/1.7B) とMobileVLM (1.7B/3B) では、CHIMEは54倍のスピードアップと最大246倍のエネルギー効率を達成する。
論文 参考訳（メタデータ） (2025-12-12T03:59:36Z) - TeLLMe v2: An Efficient End-to-End Ternary LLM Prefill and Decode Accelerator with Table-Lookup Matmul on Edge FPGAs [9.646882213709814]
TeLLMeは、低消費電力のエッジFPGAのためのテーブルルックアップベースの3次LLMアクセラレータである。
1.58ビットの重みと8ビットのアクティベーションを使用するプリフィルと自動回帰デコードの両方をサポートする。
5Wの電力予算の下では、TeLLMeは最大25tokens/sデコードスループットを提供する。
論文 参考訳（メタデータ） (2025-10-03T05:37:51Z) - SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention [88.47701139980636]
Diffusion Transformer(DiT)モデルでは、特にビデオ生成において、注意遅延が大きなボトルネックとなっている。
注目重量は2つの部分に分けられる: 高いランクの大型重量のごく一部と、非常に低いランクの残りの重量の2つである。
本稿では,拡散モデルを高速化するために,疎度と直線的注意を融合させる訓練可能な注意法SLAを提案する。
論文 参考訳（メタデータ） (2025-09-28T17:58:59Z) - TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。
しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。
本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
論文 参考訳（メタデータ） (2025-08-21T15:25:40Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳（メタデータ） (2024-07-22T14:37:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。