論文の概要: The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases

• arxiv url: http://arxiv.org/abs/2610.39621v1
• Date: Thu, 29 Oct 2026 08:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.067008
• Title: The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases
• Title（参考訳）: LLMプレフィルとデコードフェーズにおける計算時間とエネルギー消費の予測
• Abstract要約: 大規模言語モデルのエージェントアーキテクチャへの統合はトークン消費を大幅に増加させた。 計算時間とエネルギー消費を、幅広いプリフィル(入力)およびデコード(出力)トークン長にわたってマッピングする。 我々のマッピングフレームワークは正確なエネルギー推定を可能にし、エージェントAIのためのより持続可能なデプロイメント決定をサポートする。
• 参考スコア（独自算出の注目度）: 9.089321870671297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of Large Language Models (LLMs) into agentic architectures has substantially increased token consumption, raising concerns about their energy footprint. Yet, estimating the energy consumption of proprietary API-based models remains challenging, and existing approaches focus primarily on generated output tokens while overlooking the impact of the large input contexts characteristic of agentic workflows. To address this gap, we systematically profile compute time and energy consumption across a wide range of prefill (input) and decode (output) token lengths. Using generalized linear models, we show that decode compute time and energy scale linearly with output length, whereas prefill compute time and energy exhibit both linear and quadratic scaling with input length. These findings demonstrate that input context becomes a relevant factor for large-context workloads. Furthermore, we show that compute time serves as a reliable proxy for energy consumption when direct energy measurements are unavailable. Our mapping framework enables precise energy estimation and supports more sustainable deployment decisions for agentic AI.
• Abstract（参考訳）: エージェントアーキテクチャへのLLM(Large Language Models)の統合はトークンの消費を大幅に増加させ、そのエネルギーフットプリントに対する懸念を高めた。 しかし、プロプライエタリなAPIベースのモデルのエネルギー消費量を見積もることは依然として困難であり、既存のアプローチでは、エージェントワークフロー特有の大きな入力コンテキストの影響を見越しながら、生成された出力トークンに重点を置いている。 このギャップに対処するために、幅広いプリフィル(入力)およびデコード(出力)トークン長にわたって計算時間とエネルギー消費を体系的にプロファイルする。 一般化線形モデルを用いて、デコード計算時間とエネルギースケールが出力長に線形であるのに対し、プリフィル計算時間とエネルギーは入力長に線形で二次的なスケーリングを示す。 これらの結果は、入力コンテキストが大規模コンテキストワークロードの関連要因となることを示している。 さらに,直接エネルギー測定が不可能な場合,計算時間はエネルギー消費の信頼できるプロキシとして機能することを示す。 我々のマッピングフレームワークは正確なエネルギー推定を可能にし、エージェントAIのためのより持続可能なデプロイメント決定をサポートする。

関連論文リスト

• Green AI: Cost of LLM-Based Code Completion [43.39187796844033]
  コード補完は、ソフトウェア開発において、大規模言語モデル(LLM)の最も広く使われているアプリケーションの1つである。 LLMの精度が向上したにもかかわらず、推論のエネルギーコストは未調査のままである。 本研究では,LLMコード補完における精度とエネルギー消費のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2026-09-27T20:54:10Z)
• Understanding the Energy Scaling of Large Language Model Inference Across Context Lengths and Attention Architectures [0.2519906683279152]
  各種推論負荷下でのデコード相エネルギー消費に注意構造がどのような影響を及ぼすかを検討する。 注意が、文脈長でエネルギーをデコードする方法を規定する主要な要因であることを示す。 モデルサイズは絶対エネルギー消費を決定し、生成トークン当たりのエネルギーとレイテンシの両方を最大87%削減する。
  論文  参考訳（メタデータ） (2026-08-25T19:45:30Z)
• From Tokens to Watt-hours: Analytical Energy Estimation for LLM Inference on Modern GPUs [6.041312734387813]
  本報告では,NVIDIA H100級加速器の大規模言語モデル (LLM) 推定エネルギーを直接測定せずに推定するための,解析的,実験的に校正されたGPUレベルの手法を提案する。 提案手法は,FP16/BF16テンソルコア計算と高帯域幅メモリ動作のためのパラメータスケール変換器FLOP会計,メモリトラヒック係数,ハードウェア固有のエネルギー係数を組み合わせた。 この手法はさらに、総エネルギーを計算、パラメータアクセス、キー-値-キャッシュ書き込み、および注意-読み取りコンポーネントに分解し、モデルサイズ、コンテキスト長、生成トーケン数によるスケーリング動作を可能にする。
  論文  参考訳（メタデータ） (2026-07-29T07:50:55Z)
• This Is Taking Too Long - Investigating Time as a Proxy for Energy Consumption of LLMs [9.089321870671297]
  大規模言語モデル(LLM)のエネルギー消費は、環境安定と資源利用に悪影響を及ぼすため、懸念が高まっている。 しかし、これらのエネルギコストは、特にAPIを通じてモデルにアクセスされた場合、ユーザにとって不透明なままである。 本研究では,API ベースの LLM の関連エネルギーコストを近似するプロキシとして,推定時間の測定について検討する。
  論文  参考訳（メタデータ） (2026-03-16T08:26:57Z)
• Towards Green AI: Decoding the Energy of LLM Inference in Software Development [46.879983975894135]
  AI支援ツールはソフトウェア開発にますます統合されているが、大きな言語モデル(LLM)に依存しているため、相当な計算とエネルギーコストが伴う。 モデルが入力を処理して内部表現を構築した(1)プリフィルと,(2)デコードで格納された状態を用いて出力トークンを生成する(2)プリフィルとを区別し,LCM推定エネルギー消費の位相レベル解析を行う。
  論文  参考訳（メタデータ） (2026-02-05T14:38:19Z)
• Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression [53.39128997308138]
  テキスト圧縮性能に基づくモデル効率の指標である情報容量を導入する。 主流のオープンソースモデルに対する実証的な評価は、シリーズ内のさまざまなサイズのモデルが一貫した情報容量を示すことを示している。 情報容量の特徴的な特徴は、入力と出力の両方のトークン数に影響を与えるトークン化効率が組み込まれていることである。
  論文  参考訳（メタデータ） (2025-11-11T10:07:32Z)
• Comparing energy consumption and accuracy in text classification inference [0.9208007322096533]
  本研究は,テキスト分類推定におけるモデル精度とエネルギー消費のトレードオフを系統的に評価する。 精度の点で最高の性能モデルはエネルギー効率も良いが、より大きなLCMはより低い分類精度ではるかに多くのエネルギーを消費する傾向がある。
  論文  参考訳（メタデータ） (2025-08-19T18:00:08Z)
• PowerAttention: Exponentially Scaling of Receptive Fields for Effective Sparse Attention [73.26995918610669]
  大きな言語モデル(LLM)は、長いコンテキストを処理する場合の注意機構の二次的な複雑さによって、効率のボトルネックに直面します。 本稿では,効果的かつ完全なコンテキスト拡張を容易にする新しいスパークアテンション設計であるPowerAttentionを紹介する。 実験によると、PowerAttentionは既存の静的スパースアテンションメソッドを5sim 40%$で上回っている。
  論文  参考訳（メタデータ） (2025-03-05T15:24:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。