論文の概要: Towards Green AI: Evaluating Energy Efficiency for Quantized LLM Inference

• arxiv url: http://arxiv.org/abs/2610.17531v1
• Date: Tue, 13 Oct 2026 00:52:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.483479
• Title: Towards Green AI: Evaluating Energy Efficiency for Quantized LLM Inference
• Title（参考訳）: Green AIに向けて - 量子LLM推論におけるエネルギー効率の評価
• Abstract要約: 本稿では,大規模言語モデルの定量化のための量のみの量子化戦略を統一的に評価する。 バッチサイズが大きくなるにつれて、量子化戦略は完全精度モデルと比較してエネルギー効率が極端に向上することを示す。 我々は,低炭素量化戦略を戦略的に選択するための方策を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While it is known that quantization of large language models (LLMs) reduces memory usage via lower-bit weights, studies quantifying the resulting impact on energy usage and carbon intensity are scarce. We present the first unified evaluation of weight-only quantization strategies for LLM inference across varying input/output lengths and GPUs, highlighting differences in energy efficiency in addition to accuracy degradation and runtime. We study quantized inference on Llama 2 7B, Phi 3.5 Mini Instruct, OLMo 1B, Qwen 2.5 7B, and Qwen 2.5 14B across GLUE MNLI, MMLU, HumanEval, and GSM8K datasets, evaluating 10 post-training quantization (PTQ) strategies on NVIDIA H100, A6000, A100, and L4 GPUs. We identify a novel trend showing that quantization techniques tend to exhibit peak energy efficiency relative to full-precision baselines when inputs are sufficiently long and outputs are short. Furthermore, we show that quantization strategies become marginally more energy-efficient relative to full-precision models as batch sizes increase, though gains are modest. Notably, fused-kernel implementations such as EETQ int8 and Bitsandbytes int8 offer the highest energy savings, up to 4x compared to FP32 on short text generation, with negligible accuracy loss. Finally, we observe that energy usage closely tracks runtime on our evaluated benchmarks, indicating that, in practice, latency optimization can serve as a reliable proxy for reducing the environmental footprint of LLM services. We conclude with suggested directions for strategically selecting low-carbon quantization strategies based on specific inference requirements.
• Abstract（参考訳）: 大規模言語モデル(LLM)の量子化は低ビット重みによるメモリ使用量を減らすことが知られているが、エネルギー使用量や炭素強度への影響を定量化する研究は少ない。 本稿では,LLM推論の重みのみの量子化戦略を,入力/出力の異なる長さとGPUで統一的に評価し,精度劣化と実行時に加えて,エネルギー効率の差を強調した。 我々は,Llama 2 7B,Phi 3.5 Mini Instruct,OLMo 1B,Qwen 2.5 7B,Qwen 2.5 14BをGLUE MNLI,MMLU,HumanEval,GSM8Kデータセットで定量化し,NVIDIA H100,A6000,A100,L4 GPU上でのPTQ(Post-training Quantization)戦略を評価する。 入力が十分に長く出力が短い場合、量子化技術は完全精度のベースラインに対してピークエネルギー効率を示す傾向を示す。 さらに,バッチサイズが大きくなるにつれて,量子化戦略は完全精度モデルに比べて限界エネルギー効率が向上するが,利得は緩やかである。 特にEETQ int8やBitsandbytes int8のような融合カーネルの実装は、短いテキスト生成ではFP32に比べて最大4倍の省エネを実現している。 最後に,エネルギー利用が評価したベンチマークのランタイムを密接に追跡し,実際に遅延最適化がLCMサービスの環境フットプリントを低減するための信頼性の高いプロキシとして機能することを示す。 我々は、特定の推論要求に基づいて、低炭素量化戦略を戦略的に選択するための提案された方向で結論付ける。

関連論文リスト

• Determining Energy Efficiency Sweet Spots in Production LLM Inference [1.633285971584668]
  既存のアプローチでは、入力および出力シーケンス長の単純な線形関数によってエネルギー消費を推定する。 本稿では,Transformerアーキテクチャの計算とメモリアクセスの複雑さから導かれる解析モデルを提案する。 以上の結果から,これらの効率性「スイートスポット」と配列長の整合がエネルギー消費を大幅に減少させる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-02-05T14:21:00Z)
• Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use [4.513690948889834]
  大規模言語モデル(LLM)はますます本番環境に配備され、計算資源やエネルギー需要の負担をトレーニングから推論へとシフトさせるのに寄与している。 我々は,同じモデルにおけるエネルギー消費のオーダー・オブ・マグニチュードの違いを,Emphsystemレベルの設計選択がいかに引き起こすかを示す。 我々の発見は、よりグリーンなAIサービスのための位相認識エネルギープロファイリングとシステムレベルの最適化を動機付けている。
  論文  参考訳（メタデータ） (2026-01-29T22:16:25Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference [25.6644057021512]
  量子化は、大きな言語モデル(LLM)推論効率を改善する強力なツールである。 LLM重みとアクティベーションを高精度に定量化することは、モデルの精度を劣化させることなく困難である。 ハードウェア-ソフトウェア共設計手法であるFGMP量子化法を提案する。
  論文  参考訳（メタデータ） (2025-04-19T02:51:45Z)
• Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency [6.306413686006502]
  我々はOllamaライブラリから28の量子化大言語モデル(LLM)を包括的に分析する。 我々は、複数の量子化レベルおよびタスクタイプにわたるエネルギー効率、推論性能、出力精度を評価する。 その結果,異なる量子化設定におけるエネルギー効率,推定速度,精度のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2025-04-04T11:29:30Z)
• LLMPi: Optimizing LLMs for High-Throughput on Raspberry Pi [0.48212500317840945]
  Raspberry Piのようなリソース制約のあるエッジデバイス上の大規模言語モデル(LLM)は、計算効率、消費電力、レスポンスレイテンシの課題を提示している。 本稿では,低消費電力組込みシステム上でのLLMの高スループット・エネルギー効率実行を実現するために,量子化に基づく最適化手法について検討する。 我々の発見は、エッジデバイス上でリアルタイムの対話型AIのための量子LLMの可能性を強調し、モバイルおよび組み込みアプリケーションにおける低消費電力で高効率なAIデプロイメントの道を開いた。
  論文  参考訳（メタデータ） (2025-04-02T20:29:39Z)
• AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
  ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。 既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。 本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
  論文  参考訳（メタデータ） (2024-03-19T08:40:21Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。