論文の概要: LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load

• arxiv url: http://arxiv.org/abs/2603.23640v1
• Date: Tue, 24 Mar 2026 18:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:10.989106
• Title: LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load
• Title（参考訳）: エッジでのLLM推論:持続的負荷下でのモバイル、NPU、GPUパフォーマンス効率のトレードオフ
• Authors: Pranay Tummalapalli, Sahil Arayakandy, Ritam Pal, Kautuk Kundan,
• Abstract要約: Qwen 2.5 1.5Bを、Hairo-10H NPUを搭載したRaspberry Pi 5、Samsung Galaxy S24 Ultra、iPhone 16 Proの4つのプラットフォームでベンチマークしました。 固定された258トークンのプロンプトをデバイス毎に20以上のウォームコンディションイテレーションを使用して、スループット、レイテンシ、パワー、熱的振る舞いを測定します。 結果は、単一のモデルとプロンプト型のプラットフォームレベルのデプロイメント特性として解釈されるべきであり、ハードウェアとソフトウェアの組み合わせを反映している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying large language models on-device for always-on personal agents demands sustained inference from hardware tightly constrained in power, thermal envelope, and memory. We benchmark Qwen 2.5 1.5B (4-bit quantised) across four platforms: a Raspberry Pi 5 with Hailo-10H NPU, a Samsung Galaxy S24 Ultra, an iPhone 16 Pro, and a laptop NVIDIA RTX 4050 GPU. Using a fixed 258-token prompt over 20 warm-condition iterations per device, we measure throughput, latency, power, and thermal behaviour. For mobile platforms, thermal management supersedes peak compute as the primary constraint: the iPhone 16 Pro loses nearly half its throughput within two iterations, and the S24 Ultra suffers a hard OS-enforced GPU frequency floor that terminates inference entirely. On dedicated hardware, distinct constraints dominate: the RTX 4050 is bounded by its battery power ceiling, while the Hailo-10H is limited by on-module memory bandwidth. The RTX 4050 sustains 131.7 tok/s at 34.1 W; the Hailo-10H sustains 6.9 tok/s at under 2 W with near-zero variance, matching the RTX 4050 in energy proportionality at 19x lower throughput. Results should be interpreted as platform-level deployment characterisations for a single model and prompt type, reflecting hardware and software combined, rather than general claims about hardware capability alone.
• Abstract（参考訳）: 常時オンのパーソナルエージェントのためにデバイス上で大きな言語モデルをデプロイするには、電力、熱エンベロープ、メモリに厳しく制約されたハードウェアからの持続的な推論が必要である。 Qwen 2.5 1.5B(4ビット量子化)をHaylo-10H NPUを搭載したRaspberry Pi 5、Samsung Galaxy S24 Ultra、iPhone 16 Pro、ラップトップNVIDIA RTX 4050 GPUの4つのプラットフォームでベンチマークした。 固定された258トークンのプロンプトをデバイス毎に20以上のウォームコンディションイテレーションを使用して、スループット、レイテンシ、パワー、熱的振る舞いを測定します。 iPhone 16 Proのスループットは2回で半分近く低下し、S24 UltraはOSが強化したGPU周波数フロアに悩まされ、推論を完全に終了する。 RTX 4050はバッテリ電源の天井に縛られ、ハイロ-10Hはオンモジュールメモリの帯域幅に制限されている。 RTX 4050は34.1Wで131.7トン/s、ハイロ-10Hは2W以下で6.9トン/s、ほぼゼロのばらつきで、RTX 4050は19倍低いスループットでエネルギー比例性を持つ。 結果は、単一のモデルとプロンプト型のプラットフォームレベルのデプロイメント特性として解釈されるべきであり、ハードウェア機能のみに関する一般的な主張よりも、ハードウェアとソフトウェアの組み合わせを反映している。

関連論文リスト

• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• Private LLM Inference on Consumer Blackwell GPUs: A Practical Guide for Cost-Effective Local Deployment in SMEs [0.0]
  中小企業はますます、クラウドLLM APIに代わるものを求めている。 専用クラウドGPUインスタンスは、プライバシを改善するが、保証と継続的なコストが制限される。 NVIDIAのBlackwellコンシューマGPUのシステマティックな評価を行う。
  論文  参考訳（メタデータ） (2026-01-14T14:49:07Z)
• Profiling LoRA/QLoRA Fine-Tuning Efficiency on Consumer GPUs: An RTX 4060 Case Study [0.0]
  LoRA や QLoRA のようなパラメータ効率のよい手法で微調整された大規模言語モデルは、控えめなハードウェアの適応を可能にしている。 本稿では,1台のNVIDIA GTX 4060上でのQwen2.5-1.5B-Instructモデルを用いたLoRA/QLoRAファインチューニングの制御プロファイリングについて述べる。 その結果,bf16はfp16と比較して効率が低下するのに対し,ページドではスループットが25%向上した(628 tok/s,500 tok/s)。
  論文  参考訳（メタデータ） (2025-09-07T21:41:14Z)
• FlashMoE: Fast Distributed MoE in a Single Kernel [1.866526462692252]
  FlashMoEは、専門家の計算とGPU間通信を単一の永続GPUカーネルに融合する、完全にGPU対応のMoE演算子である。 我々は、FlashMoEがGPU利用率を最大9倍、レイテンシを6倍、スループットを5.7倍、オーバーラップ効率を最先端のベースラインに比べて4倍向上することを示した。
  論文  参考訳（メタデータ） (2025-06-05T06:29:14Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• NeRF-XL: Scaling NeRFs with Multiple GPUs [72.75214892939411]
  我々は、複数のGPUにまたがるニューラルラジアンス場(NeRF)を分散する原理的手法であるNeRF-XLを提案する。 パラメータ数を大きくして再構成品質を向上し,GPUの高速化を実現した。 我々は,25km2の都市部をカバーする258K画像を含む,これまでで最大規模のオープンソースデータセットMatrixCityを含む,さまざまなデータセットに対するNeRF-XLの有効性を実証した。
  論文  参考訳（メタデータ） (2024-04-24T21:43:15Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU [89.2451963569343]
  FlexGenは、単一のコモディティGPU上で大きな言語モデル(LLM)推論を実行するための世代エンジンである。 1つの16GB GPU上でOPT-175Bを実行する場合、FlexGenは最先端のオフロードシステムに比べてスループットが大幅に向上する。 HELMベンチマークでは、FlexGenは7つの代表サブシナリオに16GBのGPUで30Bモデルを21時間でベンチマークすることができる。
  論文  参考訳（メタデータ） (2023-03-13T05:19:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。