論文の概要: Characterization of Request and Token Energy Costs for LLM Inference Workloads on GPU Platforms
- arxiv url: http://arxiv.org/abs/2608.28044v1
- Date: Fri, 28 Aug 2026 08:07:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.250299
- Title: Characterization of Request and Token Energy Costs for LLM Inference Workloads on GPU Platforms
- Title（参考訳）: GPUプラットフォーム上でのLCM推論ワークロードの要求とトーケンエネルギーコストの評価
- Abstract要約: 大規模言語モデル(LLM)推論サービスの提供はトークンによって価格が設定されるが、推論ウィンドウ上ではエネルギーが消費される。
我々は、この動作を固定された1回のプリフィルで、固定された生成セットアップコストで特徴づける一方、各出力トーケン生成ステップは、限界ステップエネルギを付加する。
我々は, 需要エネルギーとトークンエネルギーの両面を共同で最適化すべきであることを示し, パートーケンエネルギーコストを削減すべきであることを示した。
- 参考スコア（独自算出の注目度）: 0.27998963147546135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) inference serving is priced by tokens, but GPU energy is consumed over inference windows. This accounting mismatch makes token-normalized metrics incomplete, since average output-token energy can decrease even when total request energy increases. We characterize this behavior with a decomposed energy model: a fixed one-time prefill with a fixed generation setup cost, while each output-token generation step adds marginal step energy. We evaluate this LLM inference energy model on NVIDIA H100 and H200 GPUs across dense and mixture-of-experts (MoE) models, reporting both request energy and token energy as functions of model type (M), phase (P), batch size (B), context length (C), and output length (N). For Llama-3.2-1B on H200 at batch-16 and context-4K, increasing output length from 10 to 512 tokens reduces token energy from 7.46 to 0.72 J/token while total batched inference-window energy increases from 1.19 to 5.93 kJ. Batching also reduces token energy, but the gain is context-bounded: at 10 output tokens, the batch-16 to batch-1 gain falls from 6.31x at context-512 to 1.17x at context-4K. MoE models amplify this effect: sparse routing and fragmented expert execution increase fixed energy at low concurrency, while batching spreads that energy across more generated tokens and substantially narrows the dense-vs.-MoE token-energy gap. These results show that energy-aware serving should jointly optimize both request energy and token energy, rather than only reducing per-token energy cost.
- Abstract（参考訳）: 大規模言語モデル(LLM)推論サービスの提供はトークンによって価格設定されるが、GPUエネルギーは推論ウィンドウ上で消費される。
この会計ミスマッチによりトークン正規化メトリクスは不完全となり、平均出力トーケンエネルギーは総要求エネルギーが増加しても減少する。
我々は,この挙動を分解エネルギーモデルを用いて特徴づける:固定された1時間プリフィルと固定された生成セットアップコスト,および各出力トーケン生成ステップが限界ステップエネルギーを付加する。
NVIDIA H100 と H200 GPU における LLM 推定エネルギーモデルの評価を行い,要求エネルギーとトークンエネルギーの両方をモデルタイプ (M), フェーズ (P), バッチサイズ (B), コンテキスト長 (C), 出力長 (N) の関数として報告する。
バッチ16およびコンテキスト4KでのH200上のLlama-3.2-1Bでは、10から512トークンの出力長が増加し、トークンエネルギーが7.46から0.72J/tokenに減少し、バッチ化された推論ウィンドウの総エネルギーは1.19から5.93kJに増加する。
10の出力トークンでは、バッチ16からバッチ-1へのゲインは、コンテキスト512で6.31xからコンテキスト4Kで1.17xに低下する。
スパースルーティングとフラグメントされた専門家の実行は、低並行度で固定エネルギーを増加させる一方、バッチ処理は、より生成されたトークンにそのエネルギーを分散させ、より密度の高いvを著しく制限する。
-MoEトークン-エネルギーギャップ。
これらの結果から, 需要エネルギーとトークンエネルギーの両面を共同で最適化することが示唆された。
関連論文リスト
- SymbolicLight V2: Hybrid Neuromorphic Architecture and Sparse Execution for Low-Energy Language Inference [8.419155861590548]
SymbolicLight V2はスパースイベント計算と連続状態処理を組み合わせる。
デジタル固定点演算を用いたAlveo U50C FPGA上でSybolicLight V2を実装した。
ROCK 5Tの4つのCortex-A76コアでは、完全なリクエストは9.80Wで65.4トークン/秒、アダプタのAC入力で生成されたトークン毎に0.151Jに達する。
論文 参考訳（メタデータ） (2026-09-09T06:18:49Z) - Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference [4.039767143692285]
VLM(Vision-Language Models)は、AIの知覚のバックボーンである。
既存の効率の取り組みは、主に視覚トークンの削減に焦点を合わせ、視覚処理を支配的なエネルギーコストとして暗黙的に扱う。
デバイス上のVLM推論の最初の系統的なエネルギープロファイリングによって、この暗黙の仮定を覆す。
論文 参考訳（メタデータ） (2026-07-10T15:31:06Z) - Entropy Gate: Entropy Quenching for Near-Lossless Token Compression in LLM Pipelines [0.0]
LLMパイプラインは、低情報コンテンツにかなりのトークン予算を浪費する。
エントロピー・クエンチングを適用したトークン圧縮フレームワークであるエントロピー・ゲートを紹介する。
フレームワークはステートレスで、モデルに依存しず、OpenAI互換のHTTPプロキシとしてデプロイされる。
論文 参考訳（メタデータ） (2026-06-02T14:55:02Z) - Compute Optimal Tokenization [79.3815358070537]
圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。
所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。
実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
論文 参考訳（メタデータ） (2026-05-02T01:53:22Z) - Towards Green AI: Decoding the Energy of LLM Inference in Software Development [46.879983975894135]
AI支援ツールはソフトウェア開発にますます統合されているが、大きな言語モデル(LLM)に依存しているため、相当な計算とエネルギーコストが伴う。
モデルが入力を処理して内部表現を構築した(1)プリフィルと,(2)デコードで格納された状態を用いて出力トークンを生成する(2)プリフィルとを区別し,LCM推定エネルギー消費の位相レベル解析を行う。
論文 参考訳（メタデータ） (2026-02-05T14:38:19Z) - Where Do the Joules Go? Diagnosing Inference Energy Consumption [10.337349215328839]
我々は、46のモデル、7のタスク、1,858の異なる構成を持つ生成AIランドスケープ全体にわたって、推論時間とエネルギーを大規模に測定する。
LLMタスクタイプは25$times$エネルギー差をもたらし、ビデオ生成は100$times$画像のエネルギーを消費し、GPU利用率の違いは3-5$times$エネルギー差をもたらす。
論文 参考訳（メタデータ） (2026-01-29T18:16:45Z) - Energy Scaling Laws for Diffusion Models: Quantifying Compute and Carbon Emissions in Image Generation [50.21021246855702]
本稿では,計算複雑性(FLOP)に基づく拡散モデルに対するGPUエネルギー消費予測のためのKaplanスケーリング法の適用法を提案する。
提案手法は, テキストエンコーディング, 反復的復号化, 復号化コンポーネントへの拡散モデル推論を分解し, 複数の推論ステップをまたいだ繰り返し実行により, 演算の復号化がエネルギー消費を支配しているという仮説を導いた。
この結果は拡散予測の計算バウンドの性質を検証し、持続可能なAIデプロイメント計画と炭素フットプリント推定の基礎を提供する。
論文 参考訳（メタデータ） (2025-11-21T08:12:47Z) - Energy Use of AI Inference: Efficiency Pathways and Test-Time Compute [4.8312457834136175]
非生産推定と仮定はエネルギー使用量を4-20倍に超過することができる。
モデル,サービスプラットフォーム,ハードウェアレベルでの達成可能な効率向上の定量化を行う。
10億のクエリを毎日0.8GWhと見積もる。
論文 参考訳（メタデータ） (2025-09-24T15:32:01Z) - MiniMax-01: Scaling Foundation Models with Lightning Attention [59.38940023647236]
MiniMax-Text-01とMiniMax-VL-01は、より長いコンテキストを処理するのに優れた機能を提供する。
MiniMax-Text-01は、トレーニング中に最大100万のトークンに到達でき、推論時に400万のトークンを安価な価格で外挿できる。
私たちのビジョン言語モデルであるMiniMax-VL-01は、512億のビジョン言語トークンによる継続的なトレーニングによって構築されます。
論文 参考訳（メタデータ） (2025-01-14T18:50:05Z) - Shallow Cross-Encoders for Low-Latency Retrieval [69.06104373460597]
BERTやT5のような大きなトランスフォーマーモデルに基づくクロスエンコーダは計算コストが高く、非常に小さな遅延ウィンドウ内で少数の文書しかスコアできない。
より弱い浅層変圧器モデル(すなわち、層数が限られている変圧器)は、これらの実用的な低レイテンシ設定に制約された場合、実際にフルスケールモデルよりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2024-03-29T15:07:21Z) - Inducing High Energy-Latency of Large Vision-Language Models with Verbose Images [63.91986621008751]
大規模視覚言語モデル(VLM)は、様々なマルチモーダルタスクにおいて例外的な性能を達成している。
本稿では,VLMの推論中に高エネルギー遅延コストを誘導することを目的とする。
本稿では,長い文を生成するためにVLMを誘導するために,知覚不能な摂動を作り出すことを目的とした冗長な画像を提案する。
論文 参考訳（メタデータ） (2024-01-20T08:46:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。