論文の概要: Efficient On-Device Diffusion LLM Inference with Mobile NPU

• arxiv url: http://arxiv.org/abs/2606.13740v1
• Date: Thu, 11 Jun 2026 12:44:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.53665
• Title: Efficient On-Device Diffusion LLM Inference with Mobile NPU
• Title（参考訳）: モバイルNPUを用いた高効率オンデバイス拡散LDM推論
• Authors: Tuowei Wang, Yanfan Sun, Ju Ren,
• Abstract要約: lladaは、スマートフォン上でdLLMを加速するための最初のNPU対応推論フレームワークである。 エンドツーエンドのフレームワークとしてlladaを実装し、さまざまなハードウェアプラットフォームとdLLMワークロードで評価しています。
• 参考スコア（独自算出の注目度）: 8.218014049394391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (dLLMs) accelerate generation by denoising multiple tokens in parallel, making them attractive for latency-sensitive mobile inference. However, repeated denoising introduces substantial computation on smartphones. Mobile neural processing units (NPUs) offer high-throughput dense matrix computation, but efficiently exploiting them remains challenging: token commitment shrinks per-block effective workloads, token revision complicates KV cache reuse, and limited NPU-visible address space incurs costly remapping and data transfer overheads. In this paper, we propose llada.cpp, the first NPU-aware inference framework for accelerating dLLMs on smartphones. llada.cpp aligns block-wise dLLM inference with the execution characteristics of mobile NPUs through three techniques. (1) Multi-Block Speculative Decoding fills the shrinking workload in late-stage current-block decoding with speculative future-block tokens. (2) Dual-Path Progressive Revision keeps committed tokens revisable until stable and refreshes unstable tokens through a CPU-side path without stalling dense NPU execution. (3) Swap-Optimized Memory Runtime compacts NPU-visible address layouts and overlaps data staging with NPU computation to reduce remapping and transfer overheads. We implement llada.cpp as an end-to-end framework and evaluate it across diverse hardware platforms and dLLM workloads. llada.cpp reduces LLaDA-8B generation latency by 17x-42x over the CPU baseline with prefix KV cache reuse, while preserving generation quality.
• Abstract（参考訳）: 拡散大言語モデル(dLLM)は、複数のトークンを並列に識別することで生成を加速し、レイテンシに敏感なモバイル推論に魅力を与える。 しかし、スマートフォン上では、度重なるデノベーションがかなりの計算量をもたらしている。 トークンコミットメントはブロック単位の効率的なワークロードを縮小し、トークンリビジョンはKVキャッシュの再利用を複雑にし、NPU可視アドレス空間の制限はコスト的にリマッピングとデータ転送のオーバーヘッドを引き起こす。 本稿では,スマートフォン上でのDLLMの高速化を目的とした,最初のNPU対応推論フレームワークであるllada.cppを提案する。 llada.cppはブロックワイドのdLLM推論とモバイルNPUの実行特性を3つの手法で一致させる。 1)マルチブロック投機復号化は、投機的将来のブロックトークンを用いた後期のカレントブロック復号化における縮小する作業負荷を埋める。 2) デュアルパスプログレッシブリビジョンは、高密度のNPU実行を停止させることなく、安定するまでコミットトークンを修正可能とし、CPU側パスを通じて不安定トークンをリフレッシュする。 (3) Swap-Optimized Memory Runtimeは、NPU可視のアドレスレイアウトを圧縮し、NPU計算とデータステージングを重複させ、再マッピングや転送オーバーヘッドを低減する。 エンドツーエンドフレームワークとしてllada.cppを実装し、さまざまなハードウェアプラットフォームとdLLMワークロードで評価します。 llada.cppは、CPUベースライン上でのLLaDA-8B生成のレイテンシを17x-42x削減し、プレフィックスKVキャッシュを再利用する。

関連論文リスト

• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• Efficient Mixture-of-Experts LLM Inference with Apple Silicon NPUs [5.431496585727341]
  本稿では,Apple Silicon上でのMoE実行を高速化するランタイム推論エンジンであるNPUMoEを提案する。 NPUMoEはベースラインを一貫して上回り、レイテンシを1.32x-5.55xに、エネルギー効率を1.81x-7.37xに、CPUサイクルを1.78x-5.54xに減らした。
  論文  参考訳（メタデータ） (2026-04-20T19:52:56Z)
• Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
  Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。 LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。 原子のコミットメントの前に、言語や構造的受容の境界を画定する。
  論文  参考訳（メタデータ） (2026-03-05T18:25:26Z)
• eIQ Neutron: Redefining Edge-AI Inference with Integrated NPU and Compiler Innovations [4.776283807742058]
  eIQ中性子効率NPUは商用フラッグシップMPUに統合される。 我々のソリューションは、標準AIベンチマークにおけるTOPSとメモリリソースの同等で平均1.8倍(4倍ピーク)のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-09-17T19:45:51Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
  FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。 バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
  論文  参考訳（メタデータ） (2024-07-15T17:55:42Z)
• Fast On-device LLM Inference with NPUs [10.80559106452755]
  我々は、オンデバイスニューラルプロセッシングユニット(NPU)オフロードを利用した最初のLCM推論システムであるllm.npuについて述べる。 llm.npuは3つのレベルでプロンプトとモデルを再構築することで、NPUのオフロード効率を向上させる。 初めて、llm.npuは10億規模のモデルで1000トークン/秒以上のプリフィルを達成した。
  論文  参考訳（メタデータ） (2024-07-08T12:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。