論文の概要: The Token-Energy Law of LLM Decode: Active Bytes and Realized Time Account for Joules per Token

• arxiv url: http://arxiv.org/abs/2610.28576v1
• Date: Tue, 20 Oct 2026 17:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.949797
• Title: The Token-Energy Law of LLM Decode: Active Bytes and Realized Time Account for Joules per Token
• Title（参考訳）: LLMデコードにおけるToken-Energy Law: Active Bytes and Realized Time Account for Joules per Token
• Abstract要約: 出力トークン当たりのGPUボードエネルギーのコンパクトかつ解釈可能なモデルであるTokenEnergy Lawを導入する。 トークンエネルギーをアクティブバイトとデコード時間という2つのコア次元に関連付ける。 固定係数と観測された復号時間を用いて、保留条件平均エネルギー推定は、ほとんどの3.73%と異なる。
• 参考スコア（独自算出の注目度）: 7.566299680014056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Energy-efficient deployment of large language models requires understanding how model architecture, hardware, and serving settings shape energy per generated token. We introduce the Token-Energy Law, a compact, interpretable model of GPU-board energy per output token for dense, full-history decoding. It relates token energy to two core dimensions: active bytes and realized decode time. Active bytes describe logical byte demand per output, separating dense weights shared within a decode iteration from private key--value (KV) histories read and updated for each request. Realized decode time is the elapsed decode duration divided by the number of output tokens produced. We combine the two byte coordinates and time in a common affine form, with coefficients calibrated for each model and hardware/runtime configuration. This formulation explains how batching amortizes shared-weight work, longer attended histories increase private KV demand, and throughput determines the time-associated cost per output. Our experiments cover three models under BF16 decoding on NVIDIA Hopper and Blackwell GPUs, including two-GPU tensor parallelism on Hopper. Using fixed coefficients and observed decode time, held-out condition-mean energy estimates differ from measurements by at most 3.73%.
• Abstract（参考訳）: 大規模言語モデルのエネルギー効率の高いデプロイには、モデルアーキテクチャ、ハードウェア、サービス設定が生成されたトークン毎にエネルギーを形作る方法を理解する必要がある。 本稿では,高密度フルヒストリーデコーディングのための,出力トークン当たりのGPUボードエネルギーのコンパクトかつ解釈可能なモデルであるToken-Energy Lawを紹介する。 トークンエネルギーをアクティブバイトとデコード時間という2つのコア次元に関連付ける。 アクティブバイトは出力毎の論理的バイト要求を記述し、デコードイテレーション内で共有される重み付けと、各要求に対して読み更新されたプライベートキー値(KV)履歴を分離する。 実効復号時間(英: realized decode time)とは、生成した出力トークンの数によって分割された復号時間である。 我々は2つのバイト座標と時間とを共通のアフィン形式で組み合わせ、各モデルとハードウェア/ランタイム構成の係数を調整した。 この定式化は、バッチ処理が共有重み付け作業をどのように改善し、長い履歴が従えばプライベートなKV需要が増加し、スループットがアウトプット当たりの時間関連コストを決定するかを説明する。 実験では,NVIDIA HopperおよびBlackwell GPU上でのBF16デコードに基づく3つのモデルについて検討した。 固定係数と観測された復号時間を用いて、保留条件平均エネルギーの推定値は少なくとも3.73%異なる。

関連論文リスト

• Greenpixie's AI Token Methodology: Assessing the Energy, Water and CO2-eq Impact of AI Tokens for Open and Closed Weight Models [0.0]
  本稿では,クラウドホスト型大規模言語モデル(LLM)のエネルギーコストを推定する手法について述べる。 また、これらのエネルギー測定を用いて、二酸化炭素(mathrmCO-texteq$)排出量、使用量と実施量、AIトークン当たりの水消費量を推定する方法について述べる。
  論文  参考訳（メタデータ） (2026-09-27T22:10:47Z)
• Where Activation Sparsity and KV-Cache Sparsity Cross in LLM Decoding [25.41362943884425]
  2つのブランチとその構成を2つのGPU上で2Kから128Kトークンに記録します。 2つの貯蓄が等しい文脈長であるバイトクロスオーバーと、各分岐に対する理想的なスピードアップ境界を導出する。 スプリットK注意の代わりにマスク付きで高密度ベースラインをタイミングさせることで、同じKVポリシーの約5倍のスピードアップが膨らむ。
  論文  参考訳（メタデータ） (2026-09-27T20:11:05Z)
• End-to-End Context Compression at Scale [81.70601323130997]
  長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。 KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。 既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
  論文  参考訳（メタデータ） (2026-06-08T15:43:16Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• H$_2$O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models [110.06476624089679]
  メモリフットプリントを大幅に削減する新しいKVキャッシュの実装手法を提案する。 我々のアプローチは、トークンのごく一部が、注意点の計算において、ほとんどの価値に寄与する、という観察に基づいている。 我々は,最近のトークンとH$のバランスを動的に保持するKVキャッシュ消去ポリシーであるヘビーヒッター(H$O)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T20:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。