論文の概要: From Prompts to Power: Measuring the Energy Footprint of LLM Inference

• arxiv url: http://arxiv.org/abs/2511.05597v1
• Date: Wed, 05 Nov 2025 15:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.483776
• Title: From Prompts to Power: Measuring the Energy Footprint of LLM Inference
• Title（参考訳）: プロンプトからパワー: LLM推論のエネルギーフットプリントの測定
• Authors: Francisco Caravaca, Ángel Cuevas, Rubén Cuevas,
• Abstract要約: 我々は、21のGPU構成と155のモデルアーキテクチャにわたる32,500以上の測定結果からなる大規模な測定ベース研究を提案する。 本稿では,vLLM推論エンジンを用いてエネルギー使用量を定量化し,構造的・運用的要因がいかにエネルギー需要を形作るかを明らかにする。 我々は、未確認のアーキテクチャやハードウェア間での推論エネルギー消費を正確に推定する予測モデルを開発し、それをブラウザ拡張として実装し、生成AIの環境影響に対する認識を高める。
• 参考スコア（独自算出の注目度）: 1.9116784879310027
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The rapid expansion of Large Language Models (LLMs) has introduced unprecedented energy demands, extending beyond training to large-scale inference workloads that often dominate total lifecycle consumption. Deploying these models requires energy-intensive GPU infrastructure, and in some cases has even prompted plans to power data centers with nuclear energy. Despite this growing relevance, systematic analyses of inference energy consumption remain limited. In this work, we present a large-scale measurement-based study comprising over 32,500 measurements across 21 GPU configurations and 155 model architectures, from small open-source models to frontier systems. Using the vLLM inference engine, we quantify energy usage at the prompt level and identify how architectural and operational factors shape energy demand. Building on these insights, we develop a predictive model that accurately estimates inference energy consumption across unseen architectures and hardware, and implement it as a browser extension to raise awareness of the environmental impact of generative AI.
• Abstract（参考訳）: LLM(Large Language Models)の急速な拡張は前例のないエネルギー需要を導入し、トレーニングを超えて、ライフサイクル全体の消費を支配する大規模な推論ワークロードへと拡張した。 これらのモデルの展開にはエネルギー集約型GPUインフラストラクチャが必要だ。 この関係性は増大しているが、推論エネルギー消費の体系的な分析は依然として限られている。 本研究では,21のGPU構成と155のモデルアーキテクチャにまたがる32,500以上の測定結果から,小規模なオープンソースモデルからフロンティアシステムまで,大規模に測定に基づく研究を提案する。 本稿では,vLLM推論エンジンを用いてエネルギー使用量を定量化し,構造的・運用的要因がいかにエネルギー需要を形作るかを明らかにする。 これらの知見に基づいて、未知のアーキテクチャやハードウェア間での推論エネルギー消費を正確に推定する予測モデルを構築し、それをブラウザ拡張として実装し、生成AIの環境影響に対する認識を高める。

関連論文リスト

• Green MLOps to Green GenOps: An Empirical Study of Energy Consumption in Discriminative and Generative AI Operations [2.2765705959685234]
  本研究では,実世界のMLOpsパイプラインにおける識別型および生成型AIモデルのエネルギー消費について検討する。 さまざまな構成、モデル、データセットにわたるレプリケーションの容易性を保証するために、ソフトウェアベースのパワー測定を採用しています。
  論文  参考訳（メタデータ） (2025-03-31T10:28:04Z)
• From Computation to Consumption: Exploring the Compute-Energy Link for Training and Testing Neural Networks for SED Systems [9.658615045493734]
  本稿では,音事象検出システムの主要なコンポーネントであるニューラルネットワークアーキテクチャについて検討する。 我々は,小規模から大規模アーキテクチャの訓練および試験におけるエネルギー消費量を測定した。 我々は,エネルギー消費,浮動小数点演算数,パラメータ数,GPU/メモリ利用率の複雑な関係を確立する。
  論文  参考訳（メタデータ） (2024-09-08T12:51:34Z)
• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、専門的な深層モデルから汎用的な基礎モデルへと進化してきた。 LLMは、ローカルデータセットの微調整と、ネットワークエッジ上のデプロイメントのためのかなりのメモリを必要とする。 LLMは、画像、オーディオ、ビデオ、マルチモーダルコンテンツを作成するために、テキスト生成を超えて拡張されている。 LLMの持続的成長を支援するため,モデル微調整およびモデル圧縮技術が開発されている。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• Computing Within Limits: An Empirical Study of Energy Consumption in ML Training and Inference [2.553456266022126]
  機械学習(ML)は大きな進歩を遂げているが、その環境のフットプリントは依然として懸念されている。 本稿では,グリーンMLの環境影響の増大を認め,グリーンMLについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:59:34Z)
• Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
  生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。 この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。 これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。 本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
  論文  参考訳（メタデータ） (2023-11-28T15:09:36Z)
• Energy Efficiency of Training Neural Network Architectures: An Empirical Study [11.325530936177493]
  ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。 このようなモデルを訓練するために必要な計算は、大きな炭素フットプリントを必要とする。 本研究では, DLモデルアーキテクチャと環境影響との関係を, エネルギー消費の観点から検討した。
  論文  参考訳（メタデータ） (2023-02-02T09:20:54Z)
• Precise Energy Consumption Measurements of Heterogeneous Artificial Intelligence Workloads [0.534434568021034]
  本稿では,異なるタイプの計算ノード上でのディープラーニングモデルの典型的な2つの応用のエネルギー消費の測定を行う。 我々のアプローチの1つの利点は、スーパーコンピュータの全ユーザーがエネルギー消費に関する情報を利用できることである。
  論文  参考訳（メタデータ） (2022-12-03T21:40:55Z)
• Energy Drain of the Object Detection Processing Pipeline for Mobile Devices: Analysis and Implications [77.00418462388525]
  本稿では、移動体拡張現実(AR)クライアントのエネルギー消費と、畳み込みニューラルネットワーク(CNN)に基づく物体検出を行う際の検出遅延について、初めて詳細な実験を行った。 我々は,移動体ARクライアントのエネルギー分析を精査し,CNNによる物体検出を行う際のエネルギー消費に関するいくつかの興味深い視点を明らかにした。
  論文  参考訳（メタデータ） (2020-11-26T00:32:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。