論文の概要: Where Do the Joules Go? Diagnosing Inference Energy Consumption

• arxiv url: http://arxiv.org/abs/2601.22076v2
• Date: Fri, 30 Jan 2026 02:31:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 14:22:45.417074
• Title: Where Do the Joules Go? Diagnosing Inference Energy Consumption
• Title（参考訳）: ジョールはどこへ行くのか? -推論エネルギー消費の診断-
• Authors: Jae-Won Chung, Ruofan Wu, Jeff J. Ma, Mosharaf Chowdhury,
• Abstract要約: 我々は、46のモデル、7のタスク、1,858の異なる構成を持つ生成AIランドスケープ全体にわたって、推論時間とエネルギーを大規模に測定する。 LLMタスクタイプは25$times$エネルギー差をもたらし、ビデオ生成は100$times$画像のエネルギーを消費し、GPU利用率の違いは3-5$times$エネルギー差をもたらす。
• 参考スコア（独自算出の注目度）: 10.337349215328839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy is now a critical ML computing resource. While measuring energy consumption and observing trends is a valuable first step, accurately understanding and diagnosing why those differences occur is crucial for optimization. To that end, we begin by presenting a large-scale measurement study of inference time and energy across the generative AI landscape with 46 models, 7 tasks, and 1,858 different configurations on NVIDIA H100 and B200 GPUs. Our empirical findings span order-of-magnitude variations: LLM task type can lead to 25$\times$ energy differences, video generation sometimes consumes more than 100$\times$ the energy of images, and GPU utilization differences can result in 3--5$\times$ energy differences. Based on our observations, we present a framework for reasoning about the underlying mechanisms that govern time and energy consumption. The essence is that time and energy are determined by latent metrics like memory and utilization, which are in turn affected by various factors across the algorithm, software, and hardware layers. Our framework also extends directly to throughput per watt, a critical metric for power-constrained datacenters.
• Abstract（参考訳）: エネルギーは今や重要なMLコンピューティングリソースである。 エネルギー消費の測定と傾向の観察は重要な第一歩であるが、これらの違いがなぜ起こるのかを正確に理解し、診断することが最適化に不可欠である。 そのために、46のモデル、7のタスク、1,858の異なる構成のNVIDIA H100とB200 GPUを用いて、生成AIランドスケープ全体での推論時間とエネルギーの大規模な測定結果を示すことから始める。 LLMタスクタイプは25$\times$エネルギ差をもたらし、ビデオ生成は100$\times$画像のエネルギを消費し、GPU利用率差は3～5$\times$エネルギ差をもたらす。 本報告では, 時間とエネルギー消費を規定するメカニズムを解明するための枠組みについて述べる。 本質的には、時間とエネルギーは、メモリや利用といった遅延メトリクスによって決定され、アルゴリズム、ソフトウェア、ハードウェア層にまたがるさまざまな要因に影響を受けます。 私たちのフレームワークは、電力制約のあるデータセンターにとって重要なメトリックであるワット当たりのスループットにも直接拡張しています。

関連論文リスト

• Probabilistic energy profiler for statically typed JVM-based programming languages [1.7842332554022688]
  エネルギー消費は、モバイルデバイスから大規模データセンターに至るまで、いくつかの分野で懸念が高まっている。 以前のアプローチでは、ソースコードのステートメントではなく、特定の関数やプログラムに重点を置いていた。 本研究では,消費のみの測定と点推定の利用の限界に対処する新しい手法を開発する。
  論文  参考訳（メタデータ） (2025-12-02T13:21:35Z)
• Energy Scaling Laws for Diffusion Models: Quantifying Compute and Carbon Emissions in Image Generation [50.21021246855702]
  本稿では,計算複雑性(FLOP)に基づく拡散モデルに対するGPUエネルギー消費予測のためのKaplanスケーリング法の適用法を提案する。 提案手法は, テキストエンコーディング, 反復的復号化, 復号化コンポーネントへの拡散モデル推論を分解し, 複数の推論ステップをまたいだ繰り返し実行により, 演算の復号化がエネルギー消費を支配しているという仮説を導いた。 この結果は拡散予測の計算バウンドの性質を検証し、持続可能なAIデプロイメント計画と炭素フットプリント推定の基礎を提供する。
  論文  参考訳（メタデータ） (2025-11-21T08:12:47Z)
• The ML.ENERGY Benchmark: Toward Automated Inference Energy Measurement and Optimization [24.32172951691564]
  エネルギーは、しばしば見落とされ、探索されていない、あるいはMLシステム構築の文脈でよく理解されていない指標である。 本稿では,現実的なサービス環境下での推論エネルギー消費を測定するためのベンチマークスイートとツールであるML$.$ENERGY Benchmarkを紹介する。
  論文  参考訳（メタデータ） (2025-05-09T18:27:32Z)
• Unveiling the Energy Vampires: A Methodology for Debugging Software Energy Consumption [5.602876058122268]
  本稿では,ソフトウェアシステムにおけるエネルギー消費ホットスポットの同定と分離のためのエネルギーデバッグ手法を提案する。 分析の結果,AlpineディストリビューションとUbuntuディストリビューションのエネルギー消費の相違が明らかとなった。 我々は,memcpyの分離とベンチマークにより,エネルギー差の主な原因として確認した。
  論文  参考訳（メタデータ） (2024-12-13T11:49:19Z)
• Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
  生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。 この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。 これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。 本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
  論文  参考訳（メタデータ） (2023-11-28T15:09:36Z)
• From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference [19.439683873290623]
  大規模言語モデル(LLM)は、新しい生成能力によって、最先端の最先端をはるかに超えているため、人気が高まっている。 これらのモデルには計算上の課題、特に推論に必要な計算とエネルギーのコストが伴う。
  論文  参考訳（メタデータ） (2023-10-04T17:41:59Z)
• Attention Mechanism with Energy-Friendly Operations [61.58748425876866]
  我々はエネルギー消費の観点から注意機構を再考する。 我々は、乗算を選択的操作または加算に置き換えることで、新しい注意モデルを構築する。 3つの機械翻訳タスクにおける実験結果から,提案手法が再現可能な精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-28T08:50:09Z)
• Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
  コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。 継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
  論文  参考訳（メタデータ） (2021-09-12T09:40:18Z)
• Adversarial Energy Disaggregation for Non-intrusive Load Monitoring [78.47901044638525]
  非侵入負荷モニタリング(Non-Inrusive Load Monitoring, NILM)としても知られるエネルギー分散は、家庭全体の電力消費を家電固有の個人消費に分けるという問題に挑戦する。 近年の進歩は、ディープニューラルネットワーク(DNN)がNILMに有利な性能を得られることを示している。 我々は、エネルギー分散タスクに新しくなったNILMに、敵対的学習の考え方を導入する。
  論文  参考訳（メタデータ） (2021-08-02T03:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。