論文の概要: EnergyLens: Predictive Energy-Aware Exploration for Multi-GPU LLM Inference Optimization

• arxiv url: http://arxiv.org/abs/2605.14249v1
• Date: Thu, 14 May 2026 01:37:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-16 00:43:04.084596
• Title: EnergyLens: Predictive Energy-Aware Exploration for Multi-GPU LLM Inference Optimization
• Title（参考訳）: EnergyLens:multi-GPU LLM推論最適化のための予測エネルギー対応探索
• Authors: Zhiye Song, Kyungmi Lee, Eun Kyung Lee, Xin Zhang, Tamar Eilam, Anantha P. Chandrakasan,
• Abstract要約: EnergyLensは、LLM(Energy-Aware Large Language Model)推論最適化のためのエンドツーエンドフレームワークである。 融合、並列性、計算通信の重複を含むLCM仕様を、負荷不均衡を意識したMoEモデリングと組み合わせて取得する。 テンソルパラレルおよびエキスパートパラレル構成におけるLlama3およびQwen3-MoE上のEnergyLensを検証する。 我々のエネルギー駆動探査では、プリフィルとデコードで構成されたエネルギーの最大1.47倍と52.9倍のエネルギー変化が示され、分散サービスへの動機付けがなされている。
• 参考スコア（独自算出の注目度）: 5.093812479614167
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present EnergyLens, an end-to-end framework for energy-aware large language model (LLM) inference optimization. As LLMs scale, predicting and reducing their energy footprint has become critical for sustainability and datacenter operations, yet existing approaches either require production-level code and expensive profiling or fail to accurately capture multi-GPU energy behavior. As a result, practitioners lack tools for deciding which optimizations to prioritize and for selecting among existing deployment configurations when exhaustive profiling is impractical. EnergyLens addresses this gap with an intuitive einsum-based interface that captures LLM specifications including fusion, parallelism, and compute-communication overlap, combined with load-imbalance-aware MoE modeling and an empirically driven communication energy model for multi-GPU settings. We validate EnergyLens on Llama3 and Qwen3-MoE across tensor-parallel and expert-parallel configurations, achieving mean absolute percentage errors (MAPEs) between 9.25% and 13.19% for multi-GPU prefill and decode energy, and 12.97% across SM allocations for Megatron-style overlap. Our energy-driven exploration reveals up to 1.47x and 52.9x energy variation across configurations in prefill and decode efficiency and motivates distributed serving. We further show that compute-communication overlap is difficult to optimize with intuition alone, but EnergyLens correctly identifies Pareto-optimal overlap configurations.
• Abstract（参考訳）: 本稿では,LLM(Energy-Aware Large Language Model)推論最適化のためのエンドツーエンドフレームワークであるEnergyLensを紹介する。 LLMがスケールするにつれて、そのエネルギーフットプリントの予測と削減は、サステナビリティとデータセンターの運用にとって重要になっているが、既存のアプローチでは、プロダクションレベルのコードと高価なプロファイリングを必要とするか、あるいはマルチGPUエネルギーの挙動を正確に捉えることができない。 結果として、実践者は、どの最適化を優先順位付けするかを決め、徹底的なプロファイリングが現実的でない場合、既存のデプロイメント構成を選択するためのツールを欠いている。 EnergyLensはこのギャップを、融合、並列性、計算通信オーバーラップを含むLCM仕様をキャプチャする直感的なeinsumベースのインターフェースで解決し、負荷不均衡を意識したMoEモデリングと、マルチGPU設定のための実験的に駆動された通信エネルギーモデルを組み合わせる。 テンソルパラレルおよびエキスパートパラレル構成におけるLlama3およびQwen3-MoE上のEnergyLensを検証し,マルチGPUプリフィルおよびデコードエネルギに対して平均絶対パーセンテージ誤差(MAPE)を9.25%から13.19%,Megatronスタイルのオーバーラップに対して12.97%とした。 我々のエネルギー駆動探査では、プリフィルとデコードで構成されたエネルギーの最大1.47倍と52.9倍のエネルギー変化が示され、分散サービスへのモチベーションがもたらされる。 さらに、直観だけで計算通信の重複を最適化することは困難であることを示すが、EnergyLensはパレート・最適重複構成を正しく識別する。

関連論文リスト

• EnergyLens: Interpretable Closed-Form Energy Models for Multimodal LLM Inference Serving [2.7498981662768536]
  既存のアプローチでは、レイテンシをエネルギプロキシとして扱うか、データ不足のブラックボックスサロゲートに依存している。 本稿では,データに対する構造発見ツールとして,シンボル回帰を用いたEnergyLensを提案する。 ブラックボックスサロゲートとは異なり、EnergyLensはテンソルとパイプライン並列性を分離し、デコードエネルギーからプリフィルを分離する。
  論文  参考訳（メタデータ） (2026-05-11T13:31:50Z)
• Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use [4.513690948889834]
  大規模言語モデル(LLM)はますます本番環境に配備され、計算資源やエネルギー需要の負担をトレーニングから推論へとシフトさせるのに寄与している。 我々は,同じモデルにおけるエネルギー消費のオーダー・オブ・マグニチュードの違いを,Emphsystemレベルの設計選択がいかに引き起こすかを示す。 我々の発見は、よりグリーンなAIサービスのための位相認識エネルギープロファイリングとシステムレベルの最適化を動機付けている。
  論文  参考訳（メタデータ） (2026-01-29T22:16:25Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Energy Considerations of Large Language Model Inference and Efficiency Optimizations [28.55549828393871]
  大規模言語モデル(LLM)の規模と採用が拡大するにつれて、その計算と環境コストは上昇し続けている。 多様なNLPおよびAIワークロードにまたがる共通推論効率最適化のエネルギー含意を系統的に分析する。 本研究により, 推定効率最適化の適切な適用により, 最適化されていないベースラインから最大73%のエネルギー使用量を削減できることが判明した。
  論文  参考訳（メタデータ） (2025-04-24T15:45:05Z)
• Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency [6.306413686006502]
  我々はOllamaライブラリから28の量子化大言語モデル(LLM)を包括的に分析する。 我々は、複数の量子化レベルおよびタスクタイプにわたるエネルギー効率、推論性能、出力精度を評価する。 その結果,異なる量子化設定におけるエネルギー効率,推定速度,精度のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2025-04-04T11:29:30Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Energy-Efficient Multi-Orchestrator Mobile Edge Learning [54.28419430315478]
  Mobile Edge Learning(MEL)は、エッジデバイス上で機械学習(ML)モデルの分散トレーニングを特徴とする、協調学習パラダイムである。 MELでは、異なるデータセットで複数の学習タスクが共存する可能性がある。 本稿では, エネルギー消費, 精度, 解複雑性のトレードオフを容易にする軽量なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-02T07:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。