論文の概要: PELM: Power Efficient On-Device LLM Inference with Speculative Decoding and Dynamic Voltage Frequency Scaling

• arxiv url: http://arxiv.org/abs/2609.09662v1
• Date: Wed, 09 Sep 2026 03:27:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.884192
• Title: PELM: Power Efficient On-Device LLM Inference with Speculative Decoding and Dynamic Voltage Frequency Scaling
• Title（参考訳）: PELM:投機復号と動的電圧周波数スケーリングによる高効率オンデバイスLDM推定
• Abstract要約: 大規模言語モデル(LLM)は、エッジのモバイルプラットフォームに直接デプロイすることができる。 LLMには、リソース制約のあるモバイルプラットフォームやエッジプラットフォームが満たすのが困難である、重い計算要件がある。 我々は、従来のDVFSプロセッサの周波数調整を2つの追加のワークロード固有のノブで強化するソリューションであるPELMを提案する。
• 参考スコア（独自算出の注目度）: 0.42015796373418257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying Large Language Models (LLMs) directly on mobile platforms at the edge is gaining traction due to a myriad of benefits, such as increased privacy, personalization, and reduced latency. However, LLMs have heavy computational requirements, which are difficult for resource-constrained mobile and edge platforms to fulfill. In addition to limited compute resources, mobile and edge systems often have a compact form factor and lack physical mechanisms to dissipate heat generated from high processor usage rates (e.g., fans) to prevent throttling and reduced processing power, which LLMs can easily cause. To mitigate these effects, prior works have proposed various power governing strategies, such as dynamic voltage and frequency scaling (DVFS), for reducing power and heat generation for heavy computational tasks on mobile platforms. Recently, DVFS methods tailored for mobile LLMs have also been proposed. However, these methods mostly focus on optimizing hardware parameters and processor frequencies, and they fall short under some thermally constrained scenarios. Drawing from recent advances in machine learning, we identify and take advantage of the key insight that not all tokens require full-depth inference to maintain high-quality generation. Motivated by this, we present PELM, a solution that augments traditional DVFS processor frequency tuning with two additional workload-specific knobs: 1) speculative decoding and 2) variable verification depth to expand the optimization space to multiple dimensions for more power efficient on-device LLM inference. In extensive evaluations across hardware platforms and datasets, PELM demonstrates superior performance compared to state-of-the-art power governing methods, with up to 23.1% speedup and 52.4% reduction in energy consumption, while maintaining comparable task performance. The source code is available at https://github.com/imec-nu/PELM.
• Abstract（参考訳）: エッジでモバイルプラットフォームに直接LLM(Large Language Models)をデプロイすることは、プライバシの向上、パーソナライゼーション、レイテンシの削減など、数多くのメリットによって、注目を集めている。 しかし LLM は,資源制約のあるモバイルプラットフォームやエッジプラットフォームが満たすのが困難である,計算上の要求が大きい。 計算資源の制限に加えて、モバイルとエッジシステムはしばしばコンパクトなフォームファクタを持ち、高いプロセッサ使用率(例えばファン)から発生する熱を散逸させる物理的メカニズムが欠如している。 これらの効果を緩和するために、モバイルプラットフォーム上での重計算タスクにおける電力と熱発生を減らすために、動的電圧と周波数スケーリング(DVFS)のような様々な電力管理戦略が提案されている。 近年,モバイルLLMに適したDVFS法も提案されている。 しかし、これらの手法は主にハードウェアパラメータとプロセッサ周波数の最適化に重点を置いており、熱的に制約されたシナリオでは不十分である。 機械学習の最近の進歩から、すべてのトークンが高品質な生成を維持するために完全な推論を必要とするわけではないという重要な洞察を特定し、活用する。 PELMは、従来のDVFSプロセッサの周波数調整を2つの追加のワークロード固有のノブで強化するソリューションである。 1【投機的復号・復号】 2) 最適化空間を複数次元に拡張し,より高効率なオンデバイスLSM推論を実現するための可変検証深度。 ハードウェアプラットフォームとデータセットの広範な評価において、PELMは最先端の電力管理手法よりも優れた性能を示し、最大23.1%のスピードアップと52.4%のエネルギー消費削減を実現し、同等のタスク性能を維持している。 ソースコードはhttps://github.com/imec-nu/PELMで公開されている。

関連論文リスト

• LLM Inference in a Flash! [66.43896490006965]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。 我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
  論文  参考訳（メタデータ） (2026-09-14T18:04:30Z)
• EnerInfer: Energy-Aware On-Device LLM Inference [26.942672033524826]
  EnerInferは、LLMワークロードのエネルギー効率、スループット、熱的快適性を共同で管理するフレームワークである。 EnerInferは、スマートフォン、ラップトップ、開発ボードで最大65%、最大12%、そして24%のエネルギー効率を改善する。
  論文  参考訳（メタデータ） (2026-06-22T08:16:19Z)
• PALS: Power-Aware LLM Serving for Mixture-of-Experts Models [7.28734124763028]
  大規模言語モデル(LLM)推論は、現代のデータセンターで支配的なワークロードとなっている。 我々は、GPUパワーキャップを一級制御ノブとして扱うLPMサービスPALSのためのパワーアウェアランタイムを提案する。 PALSはエネルギー効率を最大26.3%改善し、電力制約下ではランタイム違反を4倍から7倍に減らし、動的電力予算を追跡する。
  論文  参考訳（メタデータ） (2026-05-20T17:19:20Z)
• CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
  本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。 提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-08-15T07:49:22Z)
• Dissecting the Impact of Mobile DVFS Governors on LLM Inference Performance and Energy Efficiency [20.904706759529237]
  大きな言語モデル(LLM)は、数十億のモバイルデバイス上で動作するさまざまなアプリケーションやサービスに統合されつつある。 現在、リソース制限されたモバイルデバイスにLSMをデプロイすることは、計算、メモリ、最終的にはエネルギーの需要が高いため、大きな課題に直面している。
  論文  参考訳（メタデータ） (2025-07-02T20:47:40Z)
• Harnessing On-Device Large Language Model: Empirical Results and Implications for AI PC [8.837470787975308]
  エッジデバイス上の大規模言語モデル(LLM)は、大きなプライバシー上のメリットを提供する。 これらのオンデバイスLSMは、モデル容量の削減と必要な圧縮技術のために本質的に性能上の制限に直面している。 デバイス上でのLCMを評価するために,モデル能力,開発効率,システム資源を包含する体系的方法論を導入する。
  論文  参考訳（メタデータ） (2025-05-21T02:23:01Z)
• PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
  我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。 PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。 評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-15T15:11:17Z)
• HALO: Hardware-aware quantization with low critical-path-delay weights for LLM acceleration [5.88033624474104]
  ハードウェア・アウェア・ポスト・トライニング・量子化(PTQ)のための汎用フレームワークHALO 従来の方法とは異なり、HALOはクリティカルパスのタイミングや消費電力など、ハードウェアの詳細な特徴を明示的に取り入れている。 ベースライン量子化法では, 平均270%, 51%の省エネ性能が向上した。
  論文  参考訳（メタデータ） (2025-02-27T01:08:33Z)
• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration [54.692405042065815]
  LLM低ビット量のみの量子化のためのハードウェアフレンドリーなアプローチであるActivation-Aware Weight Quantization (AWQ)を提案する。 AWQ は 1% の正重みしか保護せず,命令調整型 LM とマルチモーダル LM の量子化性能に優れる。 また,4ビットオンデバイスLLM/VLMに適した,効率的なフレキシブルな推論フレームワークであるTinyChatを実装した。
  論文  参考訳（メタデータ） (2023-06-01T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。