論文の概要: Understanding the Energy Scaling of Large Language Model Inference Across Context Lengths and Attention Architectures
- arxiv url: http://arxiv.org/abs/2608.25096v1
- Date: Tue, 25 Aug 2026 19:45:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.423856
- Title: Understanding the Energy Scaling of Large Language Model Inference Across Context Lengths and Attention Architectures
- Title（参考訳）: 文脈長と注意アーキテクチャにおける大規模言語モデル推論のエネルギースケーリングの理解
- Abstract要約: 各種推論負荷下でのデコード相エネルギー消費に注意構造がどのような影響を及ぼすかを検討する。
注意が、文脈長でエネルギーをデコードする方法を規定する主要な要因であることを示す。
モデルサイズは絶対エネルギー消費を決定し、生成トークン当たりのエネルギーとレイテンシの両方を最大87%削減する。
- 参考スコア（独自算出の注目度）: 0.2519906683279152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing adoption of large language models (LLMs) has raised increasing concerns about the energy consumption and environmental impact of inference. This paper presents a systematic empirical study of decode-phase energy consumption across representative open-source LLMs employing Multi-Head Attention (MHA), Grouped Query Attention (GQA), and Grouped Query Attention with Sliding Window Attention (SWA) to characterize how attention architecture influences decode-phase energy consumption under varying inference workloads. We evaluate four models across different context lengths, batch sizes, and generation workloads while measuring GPU energy using NVIDIA hardware counters. We examine the effects of context length, attention mechanism, Key-Value (KV) cache growth, and batching on decode-phase energy consumption. Results show that attention mechanism is the primary factor governing how decode energy scales with context length. MHA models exhibit substantially steeper energy growth than GQA models, whereas GQA with SWA maintains nearly constant energy consumption. We further show that model size primarily determines absolute energy consumption, while batching reduces both energy per generated token and request latency by up to 87%. These findings provide practical guidance for selecting energy-efficient LLM architectures and inference configurations.
- Abstract（参考訳）: 大規模言語モデル(LLM)の普及は、エネルギー消費と推論による環境影響に対する懸念を高めている。
本稿では,マルチヘッド・アテンション(MHA),グループクエリ・アテンション(GQA),グループクエリ・アテンション(GQA),グループクエリ・アテンション(GQA),スライディング・ウインドウ・アテンション(SWA)を用いて,マルチヘッド・アテンション(MHA),グループクエリ・アテンション(GQA),グループクエリ・アテンション(Grouped Query Attention with Sliding Window Attention,SWA)を用いて,多種多様な推論作業下でのデコードフェーズ・エネルギ消費にどのように影響するかを示す。
NVIDIAハードウェアカウンタを使用してGPUエネルギーを測定しながら、異なるコンテキスト長、バッチサイズ、生成ワークロードの4つのモデルを評価する。
コンテクスト長,アテンション機構,キーバリュー(KV)キャッシュ成長,バッチ処理がデコード相エネルギー消費に及ぼす影響について検討した。
その結果、注意機構が、文脈長でエネルギーをデコードする方法を規定する主要な要因であることが示唆された。
MHAモデルはGQAモデルよりも非常に急激なエネルギー成長を示すが、GQA with SWAはエネルギー消費をほぼ一定に維持する。
さらに,モデルサイズが絶対エネルギー消費を決定するのに対して,バッチ処理は生成トークン当たりのエネルギーと要求待ち時間の両方を最大87%削減することを示す。
これらの知見は、エネルギー効率の良いLLMアーキテクチャと推論構成を選択するための実用的なガイダンスを提供する。
関連論文リスト
- How Do Prompt Variations Affect Energy Consumption in On-Device LLMs? [15.386321055792209]
大きな言語モデル(LLM)はモバイルデバイスにますますデプロイされ、エネルギー効率が重要なデプロイメント制約となる。
本研究の目的は,認知的負荷と表現パターンという2つの迅速な特性が,デバイス上でのLCM推論のエネルギー的挙動をいかに形作るかを理解することである。
論文 参考訳（メタデータ） (2026-09-01T19:08:04Z) - The Energy Footprint of LLM-Based Environmental Analysis: LLMs and Domain Products [21.239678391166578]
大規模言語モデル (LLMs) は、気候変動や環境研究など、ドメイン固有の用途での利用が増えている。
ドメイン固有のRAGのエネルギー消費は、直接ジェネリックLLMのエネルギー消費とどのように比べられるか?
我々は,各ワークフローを検索,生成,幻覚検査コンポーネントに分解することで,実際のユーザクエリ下でのエネルギー使用量を推定する。
論文 参考訳（メタデータ） (2026-03-31T00:19:07Z) - Towards Green AI: Decoding the Energy of LLM Inference in Software Development [46.879983975894135]
AI支援ツールはソフトウェア開発にますます統合されているが、大きな言語モデル(LLM)に依存しているため、相当な計算とエネルギーコストが伴う。
モデルが入力を処理して内部表現を構築した(1)プリフィルと,(2)デコードで格納された状態を用いて出力トークンを生成する(2)プリフィルとを区別し,LCM推定エネルギー消費の位相レベル解析を行う。
論文 参考訳（メタデータ） (2026-02-05T14:38:19Z) - Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression [53.39128997308138]
テキスト圧縮性能に基づくモデル効率の指標である情報容量を導入する。
主流のオープンソースモデルに対する実証的な評価は、シリーズ内のさまざまなサイズのモデルが一貫した情報容量を示すことを示している。
情報容量の特徴的な特徴は、入力と出力の両方のトークン数に影響を与えるトークン化効率が組み込まれていることである。
論文 参考訳（メタデータ） (2025-11-11T10:07:32Z) - From Prompts to Power: Measuring the Energy Footprint of LLM Inference [1.9116784879310027]
我々は、21のGPU構成と155のモデルアーキテクチャにわたる32,500以上の測定結果からなる大規模な測定ベース研究を提案する。
本稿では,vLLM推論エンジンを用いてエネルギー使用量を定量化し,構造的・運用的要因がいかにエネルギー需要を形作るかを明らかにする。
我々は、未確認のアーキテクチャやハードウェア間での推論エネルギー消費を正確に推定する予測モデルを開発し、それをブラウザ拡張として実装し、生成AIの環境影響に対する認識を高める。
論文 参考訳（メタデータ） (2025-11-05T15:06:46Z) - Comparing energy consumption and accuracy in text classification inference [0.9208007322096533]
本研究は,テキスト分類推定におけるモデル精度とエネルギー消費のトレードオフを系統的に評価する。
精度の点で最高の性能モデルはエネルギー効率も良いが、より大きなLCMはより低い分類精度ではるかに多くのエネルギーを消費する傾向がある。
論文 参考訳（メタデータ） (2025-08-19T18:00:08Z) - Green MLOps to Green GenOps: An Empirical Study of Energy Consumption in Discriminative and Generative AI Operations [2.2765705959685234]
本研究では,実世界のMLOpsパイプラインにおける識別型および生成型AIモデルのエネルギー消費について検討する。
さまざまな構成、モデル、データセットにわたるレプリケーションの容易性を保証するために、ソフトウェアベースのパワー測定を採用しています。
論文 参考訳（メタデータ） (2025-03-31T10:28:04Z) - Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding [58.364933651703524]
注目クエリの特定の領域において、集中した巨大な値が一貫して現れることを示す。
これらの膨大な価値は文脈知識の解釈において重要な役割を担っている。
大量の値の出現を辿り、そのような濃度は回転位置によって引き起こされる。
論文 参考訳（メタデータ） (2025-02-03T17:47:03Z) - Exploring the Privacy-Energy Consumption Tradeoff for Split Federated Learning [51.02352381270177]
Split Federated Learning (SFL)は、最近、有望な分散学習技術として登場した。
SFLにおけるカット層の選択は、クライアントのエネルギー消費とプライバシに大きな影響を与える可能性がある。
本稿では、SFLプロセスの概要を概観し、エネルギー消費とプライバシを徹底的に分析する。
論文 参考訳（メタデータ） (2023-11-15T23:23:42Z) - Enhancing Energy-Awareness in Deep Learning through Fine-Grained Energy
Measurement [11.37120215795946]
本稿では,詳細なディープラーニングエネルギー消費測定のためのフレームワークであるFECoM(Fine-fine Energy Consumption Meter)を紹介する。
FECoMは、静的計測を用いて、計算負荷安定性や温度など様々な要因を考慮し、エネルギー消費をきめ細かいレベルで測定する課題に対処する。
論文 参考訳（メタデータ） (2023-08-23T17:32:06Z) - Energy Transformer [64.22957136952725]
我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。
本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-02-14T18:51:22Z) - Attention Mechanism with Energy-Friendly Operations [61.58748425876866]
我々はエネルギー消費の観点から注意機構を再考する。
我々は、乗算を選択的操作または加算に置き換えることで、新しい注意モデルを構築する。
3つの機械翻訳タスクにおける実験結果から,提案手法が再現可能な精度を実現することを示す。
論文 参考訳（メタデータ） (2022-04-28T08:50:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。