論文の概要: The SIMPLE Law for Energy Cost of LLM Inference

• arxiv url: http://arxiv.org/abs/2611.03330v1
• Date: Mon, 02 Nov 2026 15:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 05:04:49.143525
• Title: The SIMPLE Law for Energy Cost of LLM Inference
• Title（参考訳）: LLM推論のエネルギーコストに関する簡易法則
• Abstract要約: 生成AIはトークンごとに課金されるが、トークンは等しく高価ではない。 分析モデルはトークンのコストを述べておらず、最も正確なSOTAモデルは法則ではなく適合である。 LLM推論の計算とメモリアクセスの複雑さのクローズドフォーム表現を導出する。
• 参考スコア（独自算出の注目度）: 1.5948680622274656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative AI is billed per token, yet tokens are not equally expensive. Each token enters the KV-cache and raises the cost of those that follow, so energy grows non-linearly along a sequence whose tokens look identical. No analytical model states what a token costs, and the most accurate SOTA model is a fit, not a law: it absorbs architecture into fitted coefficients, requiring per-LLM fitting. We derive closed-form expressions of the computational and memory-access complexity of LLM inference in terms of architectural hyperparameters, covering MHA and GQA, and compare a family of analytical models of increasing granularity. From these, we obtain the SIMPLE Inference Model to Predict LLMs Energy (SIMPLE), a four-parameter law that separates prefill from decode, and decode into KV-cache cost and next-token computation. Over traces of 13 dense LLMs from six families on NVIDIA H100 GPUs, it attains R2 = 0.969 and 11.97% MAPE, 3.1-3.5x below the SOTA, without per-LLM calibration. The SIMPLE law explains as well as predicts: prefill energy grows quadratically with the hidden dimension, so larger LLMs suffer most from long inputs; and more aggressive GQA KV grouping reduces the per-token energy by up to 3x relative to standard MHA. Increasing the reasoning token budget pushes output length beyond the analytically derived energy minimum, driving super-linear energy growth; although accuracy grows with the budget, energy grows faster, so Intelligence per Joule peaks at an intermediate budget and falls by up to 3.14x across a 4.0x reasoning-budget range. Agentic serving raises energy per request by 13.0x relative to non-agentic ones, driven by the growth of both the prefill and the KV-cache terms with input length; while prefix caching removes most of the prefill cost (-93%), the KV-cache term is unaffected, so even a cached agentic request costs 4.8x more.
• Abstract（参考訳）: 生成AIはトークンごとに課金されるが、トークンは等しく高価ではない。 それぞれのトークンはKVキャッシュに入り、従うトークンのコストを上げるので、トークンが同一に見えるシーケンスに沿ってエネルギーは非線形に成長する。 分析モデルはトークンのコストを記述せず、最も正確なSOTAモデルは適合であり、法則ではない。 MHAとGQAを網羅したLLM推論の計算とメモリアクセスの複雑さのクローズドフォーム表現を導出し,粒度を増大させる解析モデル群を比較した。 これらの結果から,プリフィルをデコードから分離する4パラメータ法則であるSIMPLE(simple Inference Model to Predict LLMs Energy)を,KVキャッシュコストと次トーケン計算に分解する。 NVIDIA H100 GPU上の6つのファミリーからの13の高密度LCMの痕跡を振り返ると、R2 = 0.969 と 11.97% MAPE、SOTAより3.1-3.5倍、LLM単位のキャリブレーションなしで達成できる。 プリフィルエネルギーは2次に成長するので、より大きなLSMは長い入力に最も苦しむ。そしてより攻撃的なGQA KVグルーピングは、標準のMHAと比較して最大3倍のエネルギーを減少させる。 推理トークン予算の増大は、分析的に導出されたエネルギー最小値を超える出力長を押し上げ、超線形エネルギー成長を駆動し、予算とともに精度は向上するが、エネルギーはより速く成長するので、ジュール当たりの知能は中間予算でピークに達し、4.0倍の推理予算範囲で最大3.14倍まで低下する。 エージェント・サーフェスは、プリフィルとKVキャッシュの両方の成長によって、入力長が13.0倍の要求に対してエネルギーを増大させるが、プレフィルコストのほとんど(-93%)をプレフィルキャッシュで除去する一方、KVキャッシュという用語は影響を受けないため、キャッシュされたエージェント要求でさえ4.8倍のコストがかかる。

関連論文リスト

• Characterization of Request and Token Energy Costs for LLM Inference Workloads on GPU Platforms [0.27998963147546135]
  大規模言語モデル(LLM)推論サービスの提供はトークンによって価格が設定されるが、推論ウィンドウ上ではエネルギーが消費される。 我々は、この動作を固定された1回のプリフィルで、固定された生成セットアップコストで特徴づける一方、各出力トーケン生成ステップは、限界ステップエネルギを付加する。 我々は, 需要エネルギーとトークンエネルギーの両面を共同で最適化すべきであることを示し, パートーケンエネルギーコストを削減すべきであることを示した。
  論文  参考訳（メタデータ） (2026-08-28T08:07:23Z)
• Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones [4.847095054351615]
  リニアアテンションは一定時間繰り返しの推論を約束するが、連想的リコールによって著しく低下する。 Kernelized Linear Attention Activations (KATA)を紹介します。 ランク1の正の半定的な特徴が良好なキャパシティ-干渉トレードオフをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-07-19T21:46:09Z)
• Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference [4.039767143692285]
  VLM(Vision-Language Models)は、AIの知覚のバックボーンである。 既存の効率の取り組みは、主に視覚トークンの削減に焦点を合わせ、視覚処理を支配的なエネルギーコストとして暗黙的に扱う。 デバイス上のVLM推論の最初の系統的なエネルギープロファイリングによって、この暗黙の仮定を覆す。
  論文  参考訳（メタデータ） (2026-07-10T15:31:06Z)
• Attention Is All You Need for KV Cache in Diffusion LLMs [36.94369617373333]
  Elastic-Cacheは、拡散大言語モデルのための適応型層対応キャッシュ更新を実行する。 提案手法は,既存の信頼度に基づく手法よりも高いスループット(GSM8Kで6.8時間)を実現する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:48Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• HAMburger: Accelerating LLM Inference via Token Smashing [11.730038057167622]
  HAMburgerは階層的な自己回帰モデルであり、大規模言語モデル推論におけるリソース割り当てを再定義する。 HAMburgerはKVキャッシュの計算を最大2$times$に減らし、最大2$times$TPSを実現する。 本手法では,ハードウェアに依存しない設計で計算効率とメモリ効率の両方を必要とする,極めて困難な推論方式を探索する。
  論文  参考訳（メタデータ） (2025-05-26T18:34:07Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• H$_2$O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models [110.06476624089679]
  メモリフットプリントを大幅に削減する新しいKVキャッシュの実装手法を提案する。 我々のアプローチは、トークンのごく一部が、注意点の計算において、ほとんどの価値に寄与する、という観察に基づいている。 我々は,最近のトークンとH$のバランスを動的に保持するKVキャッシュ消去ポリシーであるヘビーヒッター(H$O)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T20:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。