論文の概要: Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite
- arxiv url: http://arxiv.org/abs/2606.11257v1
- Date: Tue, 09 Jun 2026 01:09:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.088646
- Title: Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite
- Title（参考訳）: モバイルNPU上のエネルギー効率の高いオンデバイスRAG:Snapdragon X Eliteのシステム設計とベンチマーク
- Authors: Zhiyuan Cheng, Longying Lai,
- Abstract要約: Retrieval-Augmented Generation (RAG)パイプラインは計算集約である。
完全にデバイス上で実行することは、プライバシ、レイテンシ、オフライン使用の恩恵を受ける。
Snapdragon X EliteのQualcomm Hexagon NPU上で、すべてのニューラルネットワークステージを実行する最初のエンドツーエンドRAGパイプラインを提示する。
- 参考スコア（独自算出の注目度）: 1.345043392794631
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) pipelines are compute-intensive, combining embedding, retrieval, reranking, and large language model (LLM) generation. Running them entirely on-device benefits privacy, latency, and offline use, but the energy cost of CPU inference is a major barrier. We present what is, to our knowledge, the first end-to-end RAG pipeline that runs all neural stages -- embedding, reranking, and LLM generation -- on the Qualcomm Hexagon NPU of the Snapdragon X Elite. Profiling on a Dell XPS 13 laptop, we compare NPU-accelerated RAG against CPU and OpenCL/Adreno GPU baselines on indexing and query workloads. On indexing, the NPU achieves 9.1x higher embedding throughput and 12.3x less system energy. On a 120-query Wikipedia-passage benchmark, it delivers 18.1x faster LLM prefilling, 4.0x lower end-to-end query latency, and 4.0x less system energy than the CPU baseline; the same workload on the integrated GPU is 1.7x slower than CPU and uses 6.5x more energy than the NPU. A GPT-4.1 LLM-as-judge evaluation finds NPU answer quality on par with CPU and GPU within evaluator noise (mean 9.32 vs. 8.95 vs. 9.03 on a 1-10 rubric), with 86.7% of queries scoring identically across all three backends. On the Snapdragon X Elite / Hexagon class of laptop SoC, the NPU thus enables practical, energy-efficient on-device RAG without quality regression -- a sustainable path toward green edge intelligence that we expect to generalize to comparable mobile NPUs (Apple Neural Engine, Intel NPU, MediaTek APU) as their software stacks mature.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG) パイプラインは計算集約的であり、埋め込み、検索、再ランク付け、大規模言語モデル(LLM)生成を組み合わせたものである。
完全にデバイス上で実行することは、プライバシ、レイテンシ、オフライン使用の恩恵を受けるが、CPU推論のエネルギーコストは大きな障壁である。
私たちの知る限り、Snapdragon X EliteのQualcomm Hexagon NPUに、すべてのニューラルネットワークステージ(埋め込み、再ランク、LLM生成)を実行する最初のエンドツーエンドRAGパイプラインを提示します。
Dell XPS 13 ラップトップ上でのプロファイリングでは,CPU に対する NPU 加速 RAG とインデックス処理とクエリ処理に関する OpenCL/Adreno GPU ベースラインを比較した。
インデックス化では、NPUは9.1倍高い埋め込みスループットと12.3倍のシステムエネルギーを達成する。
120クエリのWikipediaパスベンチマークでは、LLMプリフィルが18.1倍速く、4.0倍のエンドツーエンドクエリレイテンシ、CPUベースラインよりも4.0倍少ないシステムエネルギが提供される。
GPT-4.1 LLM-as-judge評価では、評価器ノイズ(平均9.32対8.95対9.03対1-10ルーブリック)の中で、CPUとGPUと同等のNPU応答品質を示し、クエリの86.7%が3つのバックエンドで同一に評価されている。
Snapdragon X Elite / Hexagon のラップトップ SoC のクラスでは、NPU は、品質の低下なしに実用的でエネルギー効率のよいデバイス上のRAGを可能にする -- ソフトウェアスタックが成熟するにつれて、私たちが期待するグリーンエッジインテリジェンス(Apple Neural Engine、Intel NPU、MediaTek APU)に匹敵するモバイル NPU を一般化する、持続可能なパスである。
関連論文リスト
- UniLab: A Heterogeneous Architecture for Robot RL Beyond GPU-Dominant Paradigms [68.40808444348735]
シミュレーション支配型ロボット制御では、どのプロセッサが物理を実行するかではなく、シミュレーションスループット、ポリシー学習、実行時同期が効率的なエンドツーエンドループを形成するかどうかが重要な問題である。
データ移動、バッファリング、同期のための統一ランタイムを通じて、GPUポリシー更新からCPU並列シミュレーションを分離する、異種CPU常駐/GPU学習アーキテクチャであるUniLabを提案する。
論文 参考訳（メタデータ） (2026-05-28T17:53:50Z) - Benchmarking Deep Learning Convolutions on Energy-constrained CPUs [0.0]
この研究は、CPUベースのディープラーニング推論のための最先端の畳み込みアルゴリズムを評価する。
我々は、ARM __、Intel __、AMD __、Apple __、Nvidia __から、最新のCPU間で直接、GEMMベースの、Winogradの畳み込みをベンチマークした。
論文 参考訳（メタデータ） (2025-09-30T13:19:00Z) - Challenging GPU Dominance: When CPUs Outperform for On-Device LLM Inference [6.829272097221596]
我々は、CPUのみの構成で毎秒17トークンを実現し、GPUアクセラレーションによって得られた毎秒12.8トークンを超えることを示す。
この逆直感的な結果の要因を分析し,GPUメモリ転送オーバーヘッドとCPUスレッド最適化が重要な役割を担っていることを明らかにした。
我々の研究結果は、最適化されたCPU推論の未解決の可能性を浮き彫りにして、従来のGPU優先の思考に挑戦する。
論文 参考訳（メタデータ） (2025-05-09T23:05:53Z) - Fast On-device LLM Inference with NPUs [10.80559106452755]
我々は、オンデバイスニューラルプロセッシングユニット(NPU)オフロードを利用した最初のLCM推論システムであるllm.npuについて述べる。
llm.npuは3つのレベルでプロンプトとモデルを再構築することで、NPUのオフロード効率を向上させる。
初めて、llm.npuは10億規模のモデルで1000トークン/秒以上のプリフィルを達成した。
論文 参考訳（メタデータ） (2024-07-08T12:20:45Z) - PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU [3.4248562611796576]
本稿では,1つのコンシューマグレードGPUを備えたパーソナルコンピュータ(PC)上での高速大言語モデル(LLM)推論エンジンであるPowerInferを紹介する。
論文 参考訳（メタデータ） (2023-12-16T02:27:00Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳（メタデータ） (2023-08-11T04:24:39Z) - FlexGen: High-Throughput Generative Inference of Large Language Models
with a Single GPU [89.2451963569343]
FlexGenは、単一のコモディティGPU上で大きな言語モデル(LLM)推論を実行するための世代エンジンである。
1つの16GB GPU上でOPT-175Bを実行する場合、FlexGenは最先端のオフロードシステムに比べてスループットが大幅に向上する。
HELMベンチマークでは、FlexGenは7つの代表サブシナリオに16GBのGPUで30Bモデルを21時間でベンチマークすることができる。
論文 参考訳（メタデータ） (2023-03-13T05:19:28Z) - Vega: A 10-Core SoC for IoT End-Nodes with DNN Acceleration and
Cognitive Wake-Up From MRAM-Based State-Retentive Sleep Mode [14.214500730272256]
Vegaは1.7ドルのMathrmmuWから32.2 GOPS (@ 49.4 mW)ピークまで、NSAA上でスケールアップ可能なIoTエンドノードシステムである。
ベガは8ビットINTで615 GOPS/W、32ビットと16ビットFPで79と129 GFLOPS/WのSoAリード効率を達成する。
論文 参考訳（メタデータ） (2021-10-18T08:47:45Z) - Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。
特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。
本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文 参考訳（メタデータ） (2021-04-16T09:54:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。