論文の概要: TileWeave: Heterogeneous Tiling for Sparse Prefill on Mobile SoCs

• arxiv url: http://arxiv.org/abs/2611.00408v1
• Date: Fri, 30 Oct 2026 21:56:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:15:40.360348
• Title: TileWeave: Heterogeneous Tiling for Sparse Prefill on Mobile SoCs
• Title（参考訳）: TileWeave: モバイルSoCでのスパースプレフィルのための異種タイリング
• Abstract要約: HeteroSparseパーティションは、クロスクエリの再利用によって軽視される。 Snapdragon SM8750とSM8850では、1.35--3.23$times$XAttentionよりも高速なフルモデルプリフィルを実現している。
• 参考スコア（独自算出の注目度）: 46.179744685210515
• License:
• Abstract: Smartphone applications increasingly require large language models to process long contexts, whereas high prefill latency and memory demands constrain local inference. Block-sparse attention reduces computation and memory traffic, but its irregular selections conflict with mobile NPUs' preference for large, regular tiles. Efficient execution must exploit cross-query reuse while avoiding redundant computation and preserving selections needed for accuracy. In this paper, we present TileWeave, which partitions sparse attention by this cross-query reuse: highly shared key blocks run in coarse NPU tiles, while low-reuse blocks run on the GPU only for the query blocks that selected them. In addition, we design an NPU-native pooled-key selector that keeps selection inexpensive, and a runtime that publishes GPU partials in the order the NPU consumes them and merges them in its existing output store. On RULER, HeteroSparse matches XAttention's accuracy with Qwen3-1.7B and improves it with Llama-3.2-3B-Instruct; its mean LongBench scores match XAttention as well. On Snapdragon SM8750 and SM8850 phones, it achieves 1.35--3.23$\times$ faster full-model prefill than XAttention over 1k--16k tokens and up to 1.58$\times$ faster than dense attention.
• Abstract（参考訳）: スマートフォンアプリケーションは、長いコンテキストを処理するために大きな言語モデルを必要とするが、高いプリフィル遅延とメモリ要求は局所的な推論を制限している。 ブロックスパースアテンションは計算とメモリトラフィックを減少させるが、その不規則な選択はモバイルのNPUが大型のレギュラータイルを好むのと矛盾する。 効率的な実行は、冗長な計算を回避し、正確性のために選択を保ちながら、クロスクエリの再利用を利用する必要がある。 本稿では,このクロスクエリの再利用によって少ない注意を分割するTileWeaveについて述べる。高い共有鍵ブロックは粗いNPUタイルで動作し,低再利用鍵ブロックは選択したクエリブロックに対してのみGPU上で実行される。 さらに、選択を安価に維持するNPUネイティブなプールキーセレクタを設計し、NPUがそれらを消費する順にGPU部分を公開するランタイムを既存の出力ストアにマージする。 RULERでは、HeteroSparseはXAttentionの精度をQwen3-1.7Bと一致させ、Llama-3.2-3B-Instructで改善する。 Snapdragon SM8750とSM8850では、1k-16kトークンのXAttentionよりも1.35--3.23$\times$高速のフルモデルプリフィルが達成され、さらに1.58$\times$高めの注目よりも速い。

関連論文リスト

• Efficient On-Device Diffusion LLM Inference with Mobile NPU [8.218014049394391]
  lladaは、スマートフォン上でdLLMを加速するための最初のNPU対応推論フレームワークである。 エンドツーエンドのフレームワークとしてlladaを実装し、さまざまなハードウェアプラットフォームとdLLMワークロードで評価しています。
  論文  参考訳（メタデータ） (2026-06-11T12:44:57Z)
• AdaSpark: Adaptive Sparsity for Efficient Long-Video Understanding [57.46793076689158]
  本稿では、長距離時間モデリングの制約に対処するために設計された適応型空間性フレームワークであるAdaSparkを紹介する。 AdaSparkは、挑戦的な時間スケールのビデオベンチマークで検証されているように、計算負荷を最大57%削減し、きめ細かい長距離依存関係を保存する。
  論文  参考訳（メタデータ） (2026-04-09T10:48:32Z)
• Block Sparse Flash Attention [29.499030734003952]
  Block-Sparse FlashAttentionはFlashAttentionの代替になる。 クエリキーの正確な類似性を計算し、クエリ毎に最上位の最も重要な値ブロックを選択する。 実世界の推論ベンチマークで最大1.10倍のスピードアップを実現し、最大1.24倍のニードル・イン・ア・ヘイスタック検索タスクを実現している。
  論文  参考訳（メタデータ） (2025-12-07T21:20:12Z)
• Sparser Block-Sparse Attention via Token Permutation [46.22204775916057]
  本稿では,ブロックレベルの空間性を高めるために,注目の置換特性を活用するプラグイン・アンド・プレイ方式であるPermuted Block-Sparse Attention (textbfPBS-Attn)を提案する。 PBS-Attnは、カスタムのpermuted-FlashAttentionカーネルをベースとして、長文プリフィルで最大2.75タイムのエンドツーエンドのスピードアップを実現しています。
  論文  参考訳（メタデータ） (2025-10-24T09:11:50Z)
• Dynamic Sparse Attention on Mobile SoCs [11.250584640139998]
  本稿では,CPU/GPUに依存しない疎注意モジュールであるShadowAttnを提案する。 鍵となる考え方は、NPUベースのパイロット計算で重要なトークンを推定するオーバーヘッドを隠すことである。
  論文  参考訳（メタデータ） (2025-08-22T07:41:35Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Fast On-device LLM Inference with NPUs [10.80559106452755]
  我々は、オンデバイスニューラルプロセッシングユニット(NPU)オフロードを利用した最初のLCM推論システムであるllm.npuについて述べる。 llm.npuは3つのレベルでプロンプトとモデルを再構築することで、NPUのオフロード効率を向上させる。 初めて、llm.npuは10億規模のモデルで1000トークン/秒以上のプリフィルを達成した。
  論文  参考訳（メタデータ） (2024-07-08T12:20:45Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Real-Time Execution of Large-scale Language Models on Mobile [49.32610509282623]
  BERTの最良のモデル構造は,特定のデバイスに適合する計算サイズである。 我々のフレームワークは、モバイルデバイスのリソース仕様とリアルタイム仕様の両方を満たすための特定モデルを保証することができる。 具体的には、当社のモデルはCPUでは5.2倍、GPUでは4.1倍、BERTベースでは0.5-2%の精度損失がある。
  論文  参考訳（メタデータ） (2020-09-15T01:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。