論文の概要: Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and Hardware

• arxiv url: http://arxiv.org/abs/2610.14389v1
• Date: Fri, 09 Oct 2026 23:15:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.042319
• Title: Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and Hardware
• Title（参考訳）: ベンチマーク, 推論モード, ハードウェアにおけるオープンウェイトLDMの推論エネルギー効率の測定
• Abstract要約: ベンチマークスコアは、LCMに何ができるかを教えてくれるが、その能力を実現するのにどれだけのエネルギーが必要かは教えてくれない。 86のオープンウェイトモデルチェックポイントに対するこのトレードオフを測定し、7つのベンチマークと6つのハードウェアプラットフォームで評価する。 同様の能力を持つモデルにおいても,エネルギー効率に大きな差がある。
• 参考スコア（独自算出の注目度）: 2.2672364873235953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmark scores tell us what an LLM can do, but not how much energy is required to deliver that capability. We directly measure this trade-off for 86 open-weight model checkpoints, evaluated on seven benchmarks and six hardware platforms ranging from a consumer GPU to an eight-GPU server. We find large differences in energy efficiency even among models with similar capability. Most configurations lie away from the score--energy Pareto frontier: they use a median of 2.6--4.8$\times$ more energy than another configuration that scores at least as well, with differences reaching 27$\times$. Reasoning can improve capability, but enabling thinking increases energy by about 3.7$\times$ on average, and the benefit depends strongly on the model family and output budget. Generated-token count is also an imperfect proxy for energy, misordering 18--24\% of model pairs. In contrast, FP8 reduces energy by roughly a quarter with little change in score, while changing hardware largely rescales energy without changing the relative ranking of models. These results show that capability alone gives an incomplete picture of efficiency. We argue that benchmark scores should be reported together with measured energy consumption under a specified serving regime and output budget.
• Abstract（参考訳）: ベンチマークスコアは、LCMに何ができるかを教えてくれるが、その能力を実現するのにどれだけのエネルギーが必要かは教えてくれない。 コンシューマGPUから8GPUサーバまで,7つのベンチマークと6つのハードウェアプラットフォームで評価された,86のオープンウェイトモデルチェックポイントのトレードオフを直接測定する。 同様の能力を持つモデルにおいても,エネルギー効率に大きな差がある。 ほとんどの構成はスコア・エネルギ・パレート・フロンティアから離れており、中央値が2.6--4.8$\times$で、少なくともスコアが27$\times$である。 推論は能力を向上させることができるが、思考を可能にすることで平均で3.7$\times$のエネルギーが増加し、その利益はモデルファミリーと出力予算に強く依存する。 生成トークン数もまたエネルギーの不完全なプロキシであり、モデルペアの18-24\%を誤って順序付けする。 対照的に、FP8はスコアをほとんど変更せずに約4分の1のエネルギーを削減し、一方、ハードウェアの変更はモデルの相対的なランキングを変更することなく、ほとんどエネルギーを再スケールする。 これらの結果は、能力だけで効率が不完全であることを示している。 基準スコアは、特定のサービス体制と出力予算の下で測定されたエネルギー消費とともに報告されるべきである。

関連論文リスト

• GreenBench: Benchmarking Energy Efficiency and Carbon Footprint of Open-Source LLM Inference on Apple Silicon [0.0]
  本稿では,5つのオープンソースの大規模言語モデル(LLM)のエネルギー効率,スループット,炭素フットプリントを評価するベンチマークフレームワークであるGreenBenchについて述べる。 Apple M4 Proは、持続的推論中にCPU+GPUパッケージの電力をわずか0.47W、総システム電力は8-12Wしか引き出さないことがわかった。 より小さなモデル(3-3.8B)は、より大きなモデル(7-9B)よりも2.6-4.2倍高いスループットとトークン当たりのエネルギーを最大62%削減する 私たちは、インドと米国のグリッドのCO2推定で、パッケージとシステムレベルで、トーケン毎のエネルギーを提供しています。
  論文  参考訳（メタデータ） (2026-08-24T04:46:26Z)
• Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware [0.0]
  本稿では,9つのオープンソース大規模言語モデル(LLM)を1つのGPU上で実行したハードウェアレベルのエネルギーベンチマークを提案する。 その結果, モデルアーキテクチャや量子化戦略など, 生パラメータ数以外の要因がエネルギー効率を向上させることが示唆された。
  論文  参考訳（メタデータ） (2026-06-12T06:53:44Z)
• Towards Green AI: Decoding the Energy of LLM Inference in Software Development [46.879983975894135]
  AI支援ツールはソフトウェア開発にますます統合されているが、大きな言語モデル(LLM)に依存しているため、相当な計算とエネルギーコストが伴う。 モデルが入力を処理して内部表現を構築した(1)プリフィルと,(2)デコードで格納された状態を用いて出力トークンを生成する(2)プリフィルとを区別し,LCM推定エネルギー消費の位相レベル解析を行う。
  論文  参考訳（メタデータ） (2026-02-05T14:38:19Z)
• Where Do the Joules Go? Diagnosing Inference Energy Consumption [10.337349215328839]
  我々は、46のモデル、7のタスク、1,858の異なる構成を持つ生成AIランドスケープ全体にわたって、推論時間とエネルギーを大規模に測定する。 LLMタスクタイプは25$times$エネルギー差をもたらし、ビデオ生成は100$times$画像のエネルギーを消費し、GPU利用率の違いは3-5$times$エネルギー差をもたらす。
  論文  参考訳（メタデータ） (2026-01-29T18:16:45Z)
• Energy Use of AI Inference: Efficiency Pathways and Test-Time Compute [4.8312457834136175]
  非生産推定と仮定はエネルギー使用量を4-20倍に超過することができる。 モデル,サービスプラットフォーム,ハードウェアレベルでの達成可能な効率向上の定量化を行う。 10億のクエリを毎日0.8GWhと見積もる。
  論文  参考訳（メタデータ） (2025-09-24T15:32:01Z)
• Learning to Rank Chain-of-Thought: Using a Small Model [77.75522308463667]
  本稿では、この課題に対処するために設計された高効率で軽量な検証器であるEORM(Energy Outcome Reward Model)を紹介する。 EORMはエネルギーベースのフレームワークを使用してChain-of-Thought(CoT)ソリューションをランク付けし、単純な結果ラベルだけで誤った推論と正しく区別することを学ぶ。 55Mのパラメータだけで、通常の報酬モデルより127倍以上小さいEORMは、Llama 3 8Bの精度をGSM8kで90.7%、MATHで63.7%に向上させた。
  論文  参考訳（メタデータ） (2025-05-21T01:06:29Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Inference [57.119047493787185]
  本稿では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56times$wall clock time speedupを無視できる精度低下で実現する方法を示す。 実際、本手法では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56Times$wall clock time speedupを無視できる精度で実現している。
  論文  参考訳（メタデータ） (2024-01-08T17:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。