論文の概要: EnerInfer: Energy-Aware On-Device LLM Inference

• arxiv url: http://arxiv.org/abs/2606.23001v1
• Date: Mon, 22 Jun 2026 08:16:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 16:10:15.172107
• Title: EnerInfer: Energy-Aware On-Device LLM Inference
• Title（参考訳）: EnerInfer:エネルギーを意識したオンデバイスLCM推論
• Authors: Bohua Zou, Nian Liu, Binqi Sun, Matteo Mascherin, Debayan Roy, Yutao Liu, Yu Peng, Ning Jia, Haibo Chen,
• Abstract要約: EnerInferは、LLMワークロードのエネルギー効率、スループット、熱的快適性を共同で管理するフレームワークである。 EnerInferは、スマートフォン、ラップトップ、開発ボードで最大65%、最大12%、そして24%のエネルギー効率を改善する。
• 参考スコア（独自算出の注目度）: 26.942672033524826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device LLM inference is increasingly attractive for privacy-preserving, reliable, and cost-effective deployment, yet its energy and thermal costs remain a critical bottleneck. Existing systems primarily optimize for decoding speed, implicitly assuming that faster execution is always preferable. We show instead that on-device LLM inference often has exploitable configuration slack: modestly lowering NPU and memory frequencies preserves quality of experience (QoE) while substantially improving energy efficiency and reducing heat. Realizing this opportunity in production is challenging. The most energy-efficient NPU/DDR setting varies with the model, inference engine, platform, and runtime conditions, with no stable ranking across configurations. Commercial devices further lack component-level power sensing, and shell temperature evolves with request arrivals, response lengths, and thermal history. To address these challenges, we propose EnerInfer, the first on-device LLM inference framework that jointly manages energy efficiency, throughput, and thermal comfort for LLM workloads. EnerInfer replaces per-model profiling and sensor-heavy control with disaggregated, model-structure-aware prediction and ranking-driven online feedback. It predicts throughput and power for unseen LLMs across NPU/DDR frequency settings, selects QoE-satisfying efficient configurations under runtime interference, and uses lightweight limited-horizon thermal prediction to dynamically switch between energy-optimized and thermally constrained inference. Evaluations on real-world LLMs show that EnerInfer improves energy efficiency by up to 65%, 12%, and 24% on phones, a laptop, and a development board, respectively, without QoE violation.
• Abstract（参考訳）: デバイス上でのLCM推論は、プライバシ保護、信頼性、コスト効率の面でますます魅力的になっているが、そのエネルギーと熱コストは依然として重要なボトルネックである。 既存のシステムは主にデコード速度を最適化し、より高速な実行が常に望ましいと暗黙的に仮定する。 その代わりに、オンデバイスLSM推論は、NPUをわずかに低下させ、メモリ周波数がQoE(Quality of Experience)を保ちながら、エネルギー効率を大幅に改善し、熱を低減させるという、悪用可能な構成スラックを持つことを示す。 この機会を生産で実現することは困難です。 最もエネルギー効率のよいNPU/DDR設定は、モデル、推論エンジン、プラットフォーム、実行環境によって異なり、構成間で安定したランク付けができない。 商用機器はコンポーネントレベルの電力センサーを欠き、シェル温度は要求到着、応答長、熱履歴とともに進化する。 これらの課題に対処するために,LLMワークロードのエネルギー効率,スループット,熱的快適性を共同で管理する,最初のオンデバイスLCM推論フレームワークであるEnerInferを提案する。 EnerInferは、モデルごとのプロファイリングとセンサー重み制御を、分解されたモデル構造を意識した予測とランキング駆動のオンラインフィードバックに置き換える。 NPU/DDR周波数設定におけるLLMのスループットとパワーを予測し、実行時干渉下でQoEに満足する効率的な構成を選択し、軽量な限定水平熱予測を用いてエネルギー最適化と熱制約付き推論を動的に切り替える。 実世界のLCMの評価によると、EnerInferはQoEに違反することなく、携帯電話、ラップトップ、開発ボードで、それぞれ65%、12%、そして24%のエネルギー効率を改善する。

関連論文リスト

• PALS: Power-Aware LLM Serving for Mixture-of-Experts Models [7.28734124763028]
  大規模言語モデル(LLM)推論は、現代のデータセンターで支配的なワークロードとなっている。 我々は、GPUパワーキャップを一級制御ノブとして扱うLPMサービスPALSのためのパワーアウェアランタイムを提案する。 PALSはエネルギー効率を最大26.3%改善し、電力制約下ではランタイム違反を4倍から7倍に減らし、動的電力予算を追跡する。
  論文  参考訳（メタデータ） (2026-05-20T17:19:20Z)
• Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use [4.513690948889834]
  大規模言語モデル(LLM)はますます本番環境に配備され、計算資源やエネルギー需要の負担をトレーニングから推論へとシフトさせるのに寄与している。 我々は,同じモデルにおけるエネルギー消費のオーダー・オブ・マグニチュードの違いを,Emphsystemレベルの設計選択がいかに引き起こすかを示す。 我々の発見は、よりグリーンなAIサービスのための位相認識エネルギープロファイリングとシステムレベルの最適化を動機付けている。
  論文  参考訳（メタデータ） (2026-01-29T22:16:25Z)
• Energy-Driven Steering: Reducing False Refusals in Large Language Models [80.09252175869858]
  エネルギー駆動ステアリング(EDS、Energy-Driven Steering)は、動的で推論時間の介入によってこの問題を解決するために設計された、新しい、微調整自由なフレームワークである。 我々は、望ましくない(偽の拒絶または脱獄)状態に高エネルギーを割り当て、望ましい(好ましくない反応または安全な拒絶)状態に低エネルギーを割り当てるために、軽量な外部エネルギーベースモデル(EBM)を訓練した。 エネルギー関数の勾配を利用してLLMの隠れた状態を低エネルギー領域に動的に操る。
  論文  参考訳（メタデータ） (2025-10-09T06:01:41Z)
• CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
  本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。 提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-08-15T07:49:22Z)
• Dissecting the Impact of Mobile DVFS Governors on LLM Inference Performance and Energy Efficiency [20.904706759529237]
  大きな言語モデル(LLM)は、数十億のモバイルデバイス上で動作するさまざまなアプリケーションやサービスに統合されつつある。 現在、リソース制限されたモバイルデバイスにLSMをデプロイすることは、計算、メモリ、最終的にはエネルギーの需要が高いため、大きな課題に直面している。
  論文  参考訳（メタデータ） (2025-07-02T20:47:40Z)
• TAPAS: Thermal- and Power-Aware Scheduling for LLM Inference in Cloud Platforms [9.36320423249322]
  生成型大規模言語モデル(LLM)の需要の増加は、クラウドにおける熱と電力管理に課題をもたらしている。 本研究では,クラウド上でのLLM推論クラスタを対象としたサーマルアウェアフレームワークであるTAPASを提案する。 大規模GPUクラスタに対する評価は, 熱・パワースロットリング現象を著しく低減し, システム効率を向上することを示す。
  論文  参考訳（メタデータ） (2025-01-05T16:51:17Z)
• TinyML NLP Scheme for Semantic Wireless Sentiment Classification with Privacy Preservation [49.801175302937246]
  本研究は、エッジデバイスにプライバシ保護、エネルギー効率の高いNLPモデルをデプロイする際の洞察を提供する。 セマンティックスプリットラーニング(SL)を,エネルギー効率,プライバシ保護,小型機械学習(TinyML)フレームワークとして導入する。 その結果,FLの4倍,CLの約18倍の再現誤差の増加により,SLは計算能力とCO2排出量を著しく低減し,プライバシーの向上を図った。
  論文  参考訳（メタデータ） (2024-11-09T21:26:59Z)
• MELTing point: Mobile Evaluation of Language Transformers [8.238355633015068]
  大規模言語モデル(LLM)のモバイル実行の現状について検討する。 我々は,デバイス上でのLLMのヘッドレス実行とベンチマークをサポートする,独自の自動化インフラストラクチャMELTを開発した。 我々は、一般的な命令の微調整 LLM を評価し、それぞれのフレームワークを用いてエンドツーエンドおよび粒度の性能を計測する。
  論文  参考訳（メタデータ） (2024-03-19T15:51:21Z)
• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration [54.692405042065815]
  LLM低ビット量のみの量子化のためのハードウェアフレンドリーなアプローチであるActivation-Aware Weight Quantization (AWQ)を提案する。 AWQ は 1% の正重みしか保護せず,命令調整型 LM とマルチモーダル LM の量子化性能に優れる。 また,4ビットオンデバイスLLM/VLMに適した,効率的なフレキシブルな推論フレームワークであるTinyChatを実装した。
  論文  参考訳（メタデータ） (2023-06-01T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。