論文の概要: Empowering Hybrid Attention Models on NPUs

• arxiv url: http://arxiv.org/abs/2609.32114v1
• Date: Sat, 26 Sep 2026 00:38:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:07:31.660081
• Title: Empowering Hybrid Attention Models on NPUs
• Title（参考訳）: NPU上でのハイブリッドアテンションモデル
• Abstract要約: 提案するHA-NPUは,アルゴリズムを改良することなく,エッジNPU上での効果的なハイブリッドアテンション推論を実現するシステムである。 競合するベースラインと比較して、HA-NPUは最大35.95$times$LAカーネルのスピードアップと36.14$times$エネルギー削減を達成する。
• 参考スコア（独自算出の注目度）: 13.035185182315749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid attention models have emerged as a crucial architecture for Large Language Models (LLMs) (e.g., the Qwen3.5 and Kimi series). Their memory and computational efficiency make them highly attractive for on-device inference, forming a promising synergy with edge Neural Processing Units (NPUs). However, naive execution of these hybrid models on edge NPUs fails to deliver these benefits, often bottlenecking the prefill stage due to severe memory-system inefficiencies and architectural mismatches within the linear attention (LA) layers. We present HA-NPU, the first system to enable efficient hybrid attention LLM inference on edge NPUs without modifying the underlying algorithms. HA-NPU enhances execution efficiency by reorganizing the dataflow of the LA components across three levels: (1) At the core level, it partitions workloads by the head dimension and fuses dependent operators, eliminating cross-core global memory accesses; (2) At the operator level, it reorders execution to consume intermediate tensors immediately, drastically minimizing local-buffer pressure; (3) At the tensor level, it employs dataflow-aware layout planning to minimize transformation overhead between matrix and vector processing units. Compared to competitive baselines, HA-NPU achieves up to 35.95$\times$ LA kernel speedup and 36.14$\times$ energy reduction, delivering up to 2.03$\times$ faster end-to-end request latency. The source code will be made publicly available at https://github.com/yinyuanzhang/HA-NPU
• Abstract（参考訳）: ハイブリッドアテンションモデルは、Large Language Models (LLMs) の重要なアーキテクチャ(例えば Qwen3.5 と Kimi シリーズ)として登場した。 メモリと計算効率はデバイス上の推論を非常に魅力的にし、エッジニューラルプロセッシングユニット(NPU)と有望なシナジーを形成する。 しかし、エッジのNPU上でこれらのハイブリッドモデルを実行してもこれらの利点は得られず、しばしばメモリシステムの非効率さと線形注意層(LA)内のアーキテクチャミスマッチのためにプリフィルステージをボトルネックにしている。 提案するHA-NPUは,アルゴリズムを改良することなく,エッジNPU上でのLLM推論を効率的に行うシステムである。 HA-NPUは、LAコンポーネントのデータフローを3つのレベルに再編成することで、実行効率を向上させる。(1) コアレベルでは、負荷をヘッド次元で分割し、依存演算子をフューズし、クロスコアなグローバルメモリアクセスを排除し、(2) オペレータレベルでは、実行を再注文して、中間テンソルをすぐに消費し、局所バッファ圧力を劇的に最小化する;(3) テンソルレベルでは、行列とベクトル処理ユニット間の変換オーバーヘッドを最小限に抑えるために、データフローアウェアレイアウトを使用する。 競合するベースラインと比較して、HA-NPUは最大35.95$\times$ LAカーネルのスピードアップと36.14$\times$ エネルギー削減を実現し、最大2.03$\times$ エンドツーエンドの要求待ち時間を実現する。 ソースコードはhttps://github.com/yinyuanzhang/HA-NPUで公開されます。

関連論文リスト

• EUGens: Efficient, Unified, and General Dense Layers [56.498769704575544]
  我々は、標準完全連結フィードフォワード層、textbfEfficient、 textbfUnimat、 textbfGeneral dense layer (EUGens) を一般化する新しい階層のクラスを提案する。 EUGensはランダムな特徴を活用して標準的なFFLを近似し、その計算に入力ノルムに直接的な依存を組み込むことによってそれらを超える。
  論文  参考訳（メタデータ） (2026-01-30T05:01:03Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• Inter2Former: Dynamic Hybrid Attention for Efficient High-Precision Interactive [58.0729162588429]
  インタラクティブセグメンテーションは、ユーザプロンプトからターゲット領域をセグメンテーションすることで、アノテーション効率を向上させる。 現在のアプローチは重要なトレードオフに直面している。密度の高いメソッドは精度が向上するが、CPUデバイスでの処理が著しく遅くなる。 そこで我々は,高密度な処理における計算割り当てを最適化することで,この問題に対処するInter2Formerを提案する。
  論文  参考訳（メタデータ） (2025-07-13T12:33:37Z)
• XAMBA: Enabling Efficient State Space Models on Resource-Constrained Neural Processing Units [0.6063137165121326]
  状態空間モデル(SSM)は、シーケンシャルなデータタスクのためのトランスフォーマーの効率的な代替手段として登場した。 XAMBAは、商用オフザシェルフ(COTS)のSOTA(State-of-the-art)NPU上でSSMを有効にし、最適化する最初のフレームワークである。 XAMBAはCumBAとReduBAを使用して鍵ボトルネックを緩和し、シーケンシャルなCumSumとReduceeSumを行列ベースの計算に置き換える。
  論文  参考訳（メタデータ） (2025-02-10T17:33:30Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Tensor Slicing and Optimization for Multicore NPUs [2.670309629218727]
  本稿では,Slicing Optimization (TSO) と呼ばれるマルチコアNPUに対するコンパイラ最適化パスを提案する。 TSOは、一連のCNNモデルの実行時間を最小化する最高のテンソルスライシングを特定する。 その結果、TSOは一連のCNNモデルの実行時間を最小化する最適なテンソルスライシングを識別できることがわかった。
  論文  参考訳（メタデータ） (2023-04-06T12:03:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。