論文の概要: Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware

• arxiv url: http://arxiv.org/abs/2608.00008v1
• Date: Fri, 12 Jun 2026 06:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.006713
• Title: Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware
• Title（参考訳）: ローカル展開LDMのエネルギー効率:消費者ハードウェアにおけるGPUパワーベンチマークの予備的評価
• Abstract要約: 本稿では,9つのオープンソース大規模言語モデル(LLM)を1つのGPU上で実行したハードウェアレベルのエネルギーベンチマークを提案する。 その結果, モデルアーキテクチャや量子化戦略など, 生パラメータ数以外の要因がエネルギー効率を向上させることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The local deployment of large language models (LLMs) is gaining traction due to privacy concerns and the desire for on-premise inference. However, the energy costs on consumer hardware remain poorly characterized, as most benchmarks focus solely on accuracy. This paper presents a reproducible, hardware-level energy benchmark of nine open-source LLMs (1B to 7B parameters) executed on a single consumer GPU (RTX 4060Ti 16GB). Using the Ollama inference engine, GPU power draw was sampled at 2Hz via nvidia-smi across a fixed prompt set. We evaluate mean/peak power, total energy per prompt (J/prompt), energy per output token (J/token), and throughput (tok/s). Our findings suggest that factors beyond raw parameter count, including model architecture and quantization strategy, drive energy efficiency. Specifically, gemma3:1b and llama3.2:1b achieve the lowest energy cost (0.56 J/token and 0.65 J/token) and the highest throughput (>170 tok/s). In contrast, the 7B-Mistral model consumes up to 4.4x more energy per token than the most efficient model. Notably, qwen3.5:2b exhibits anomalously high per-prompt energy due to extended internal reasoning, highlighting the need to distinguish between token generation modes in efficiency metrics.
• Abstract（参考訳）: 大規模言語モデル(LLM)のローカル展開は、プライバシの懸念とオンプレミス推論への欲求により、勢いを増している。 しかし、ほとんどのベンチマークは正確性にのみ焦点を絞っているため、消費者ハードウェアのエネルギーコストは未定である。 本稿では,1個のGPU(RTX 4060Ti 16GB)上で実行される9つのオープンソースLCM(1Bから7Bパラメータ)の再現可能なハードウェアレベルのエネルギーベンチマークを提案する。 Ollama推論エンジンを使用して、GPUのパワードローは、固定プロンプトセットを越えてnvidia-smiを介して2Hzでサンプリングされた。 平均/ピークパワー,プロンプト毎の総エネルギー(J/prompt),出力トークン毎のエネルギー(J/token),スループット(tok/s)を評価した。 その結果, モデルアーキテクチャや量子化戦略など, 生パラメータ数以外の要因がエネルギー効率を向上させることが示唆された。 具体的には、gemma3:1bとllama3.2:1bは、最低エネルギーコスト(0.56 J/tokenと0.65 J/token)と最高スループット(>170 tok/s)を達成する。 対照的に、7B-ミストラルモデルは最も効率的なモデルよりもトークン当たりの4.4倍のエネルギーを消費する。 特に、qwen3.5:2bは内部推論の拡張による異常に高いプロンプトエネルギーを示し、効率測定におけるトークン生成モードの区別の必要性を強調している。

関連論文リスト

• Characterization of Request and Token Energy Costs for LLM Inference Workloads on GPU Platforms [0.27998963147546135]
  大規模言語モデル(LLM)推論サービスの提供はトークンによって価格が設定されるが、推論ウィンドウ上ではエネルギーが消費される。 我々は、この動作を固定された1回のプリフィルで、固定された生成セットアップコストで特徴づける一方、各出力トーケン生成ステップは、限界ステップエネルギを付加する。 我々は, 需要エネルギーとトークンエネルギーの両面を共同で最適化すべきであることを示し, パートーケンエネルギーコストを削減すべきであることを示した。
  論文  参考訳（メタデータ） (2026-08-28T08:07:23Z)
• GreenBench: Benchmarking Energy Efficiency and Carbon Footprint of Open-Source LLM Inference on Apple Silicon [0.0]
  本稿では,5つのオープンソースの大規模言語モデル(LLM)のエネルギー効率,スループット,炭素フットプリントを評価するベンチマークフレームワークであるGreenBenchについて述べる。 Apple M4 Proは、持続的推論中にCPU+GPUパッケージの電力をわずか0.47W、総システム電力は8-12Wしか引き出さないことがわかった。 より小さなモデル(3-3.8B)は、より大きなモデル(7-9B)よりも2.6-4.2倍高いスループットとトークン当たりのエネルギーを最大62%削減する 私たちは、インドと米国のグリッドのCO2推定で、パッケージとシステムレベルで、トーケン毎のエネルギーを提供しています。
  論文  参考訳（メタデータ） (2026-08-24T04:46:26Z)
• Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference [4.039767143692285]
  VLM(Vision-Language Models)は、AIの知覚のバックボーンである。 既存の効率の取り組みは、主に視覚トークンの削減に焦点を合わせ、視覚処理を支配的なエネルギーコストとして暗黙的に扱う。 デバイス上のVLM推論の最初の系統的なエネルギープロファイリングによって、この暗黙の仮定を覆す。
  論文  参考訳（メタデータ） (2026-07-10T15:31:06Z)
• Where Do the Joules Go? Diagnosing Inference Energy Consumption [10.337349215328839]
  我々は、46のモデル、7のタスク、1,858の異なる構成を持つ生成AIランドスケープ全体にわたって、推論時間とエネルギーを大規模に測定する。 LLMタスクタイプは25$times$エネルギー差をもたらし、ビデオ生成は100$times$画像のエネルギーを消費し、GPU利用率の違いは3-5$times$エネルギー差をもたらす。
  論文  参考訳（メタデータ） (2026-01-29T18:16:45Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• BitNet b1.58 2B4T Technical Report [118.78752947128682]
  BitNet b1.58 2B4Tは、最初のオープンソースでネイティブな1ビットのLarge Language Model(LLM)を2-billionパラメータスケールで導入する。 4兆トークンのコーパスでトレーニングされたこのモデルは、言語理解、数学的推論、コーディングの習熟度、会話能力に関するベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-04-16T17:51:43Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• Green AI: A Preliminary Empirical Study on Energy Consumption in DL Models Across Different Runtime Infrastructures [56.200335252600354]
  トレーニング済みのモデルを、ネイティブな開発環境とは異なる環境にデプロイするのは、一般的なプラクティスです。 これにより、インフラを含むONNXや標準フォーマットとして機能するONNXなどの交換フォーマットが導入された。
  論文  参考訳（メタデータ） (2024-02-21T09:18:44Z)
• FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Inference [57.119047493787185]
  本稿では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56times$wall clock time speedupを無視できる精度低下で実現する方法を示す。 実際、本手法では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56Times$wall clock time speedupを無視できる精度で実現している。
  論文  参考訳（メタデータ） (2024-01-08T17:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。