論文の概要: Energy Considerations of Large Language Model Inference and Efficiency Optimizations

• arxiv url: http://arxiv.org/abs/2504.17674v1
• Date: Thu, 24 Apr 2025 15:45:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.444891
• Title: Energy Considerations of Large Language Model Inference and Efficiency Optimizations
• Title（参考訳）: 大規模言語モデル推論と効率最適化のエネルギー的考察
• Authors: Jared Fernandez, Clara Na, Vashisth Tiwari, Yonatan Bisk, Sasha Luccioni, Emma Strubell,
• Abstract要約: 大規模言語モデル(LLM)の規模と採用が拡大するにつれて、その計算と環境コストは上昇し続けている。 多様なNLPおよびAIワークロードにまたがる共通推論効率最適化のエネルギー含意を系統的に分析する。 本研究により, 推定効率最適化の適切な適用により, 最適化されていないベースラインから最大73%のエネルギー使用量を削減できることが判明した。
• 参考スコア（独自算出の注目度）: 28.55549828393871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) scale in size and adoption, their computational and environmental costs continue to rise. Prior benchmarking efforts have primarily focused on latency reduction in idealized settings, often overlooking the diverse real-world inference workloads that shape energy use. In this work, we systematically analyze the energy implications of common inference efficiency optimizations across diverse Natural Language Processing (NLP) and generative Artificial Intelligence (AI) workloads, including conversational AI and code generation. We introduce a modeling approach that approximates real-world LLM workflows through a binning strategy for input-output token distributions and batch size variations. Our empirical analysis spans software frameworks, decoding strategies, GPU architectures, online and offline serving settings, and model parallelism configurations. We show that the effectiveness of inference optimizations is highly sensitive to workload geometry, software stack, and hardware accelerators, demonstrating that naive energy estimates based on FLOPs or theoretical GPU utilization significantly underestimate real-world energy consumption. Our findings reveal that the proper application of relevant inference efficiency optimizations can reduce total energy use by up to 73% from unoptimized baselines. These insights provide a foundation for sustainable LLM deployment and inform energy-efficient design strategies for future AI infrastructure.
• Abstract（参考訳）: 大規模言語モデル(LLM)の規模と採用が拡大するにつれて、その計算と環境コストは上昇し続けている。 以前のベンチマークの取り組みは主に、理想化された設定におけるレイテンシの削減に重点を置いており、多くの場合、エネルギー使用を形作るさまざまな現実世界の推論ワークロードを見落としている。 本研究では,多種多様な自然言語処理(NLP)および生成人工知能(AI)ワークロードにまたがる共通推論効率最適化のエネルギー影響を,対話型AIやコード生成など,系統的に分析する。 本稿では,実世界のLLMワークフローを,入出力トークン分布とバッチサイズ変動の結合戦略により近似するモデリング手法を提案する。 私たちの実証分析は、ソフトウェアフレームワーク、デコード戦略、GPUアーキテクチャ、オンラインおよびオフラインのサービス設定、モデルの並列性設定にまたがっています。 推定最適化の有効性は, 負荷形状, ソフトウェアスタック, ハードウェアアクセラレータに非常に敏感であり, FLOPや理論的GPU利用に基づくナイーブエネルギー推定が実世界のエネルギー消費を著しく過小評価していることを示す。 本研究により, 推定効率最適化の適切な適用により, 最適化されていないベースラインから最大73%のエネルギー使用量を削減できることが判明した。 これらの洞察は、持続可能なLLMデプロイメントの基礎を提供し、将来のAIインフラストラクチャのためのエネルギー効率の高い設計戦略を通知する。

関連論文リスト

• Pimp My LLM: Leveraging Variability Modeling to Tune Inference Hyperparameters [0.3186130813218338]
  大規模言語モデル(LLM)は、幅広いタスクでますます使われています。 彼らの相当な計算要求は、トレーニングと推論の両方のエネルギー効率と持続可能性に関する懸念を提起する。 最近の研究は、最適化手法を探求し、構成選択がエネルギー消費にどのように影響するかを分析している。
  論文  参考訳（メタデータ） (2026-02-06T16:18:22Z)
• Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use [4.513690948889834]
  大規模言語モデル(LLM)はますます本番環境に配備され、計算資源やエネルギー需要の負担をトレーニングから推論へとシフトさせるのに寄与している。 我々は,同じモデルにおけるエネルギー消費のオーダー・オブ・マグニチュードの違いを,Emphsystemレベルの設計選択がいかに引き起こすかを示す。 我々の発見は、よりグリーンなAIサービスのための位相認識エネルギープロファイリングとシステムレベルの最適化を動機付けている。
  論文  参考訳（メタデータ） (2026-01-29T22:16:25Z)
• Efficient Onboard Vision-Language Inference in UAV-Enabled Low-Altitude Economy Networks via LLM-Enhanced Optimization [61.55616421408666]
  低高度経済ネットワーク(LAENets)は、航空監視、環境検知、セマンティックデータ収集など、様々な応用を可能にしている。 オンボードビジョン(VLM)は、リアルタイムな推論を提供するが、オンボードの動的ネットワーク条件は限られている。 動的LEENet条件下での通信効率を向上させるUAV対応LEENetシステムを提案する。
  論文  参考訳（メタデータ） (2025-10-11T05:11:21Z)
• Agentic AI Reasoning for Mobile Edge General Intelligence: Fundamentals, Approaches, and Directions [74.35421055079655]
  大規模言語モデル(LLM)は、強力な推論と自律的な意思決定能力を備えたエージェント人工知能(AI)の出現を可能にした。 Mobile Edge General Intelligence (MEGI)は、リアルタイムでプライバシ保護の推論をネットワークエッジにもたらす。 本稿では,MEGIにおけるLLM推論の効率的な展開のための共同最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:53:48Z)
• Scaling Intelligence: Designing Data Centers for Next-Gen Language Models [0.13332839594069593]
  大規模言語モデル(LLM)は、スケーラビリティ、効率性、コスト効率性を保証するために、データセンターアーキテクチャを根本的に再考する必要がある。 我々の研究は、FLOPS、帯域幅とキャパシティ、複数のネットワークトポロジ、一般的な並列化/最適化戦略を共同で探求する包括的な協調設計フレームワークを提供する。 私たちの発見は、実用的な洞察と、AIデータセンタを設計するための実践的なロードマップを提供します。
  論文  参考訳（メタデータ） (2025-06-17T22:29:37Z)
• Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey [59.52058740470727]
  エッジクラウドコラボレーティブコンピューティング(ECCC)は、現代のインテリジェントアプリケーションの計算要求に対処するための重要なパラダイムとして登場した。 AIの最近の進歩、特にディープラーニングと大規模言語モデル(LLM)は、これらの分散システムの能力を劇的に向上させてきた。 この調査は、基本的なアーキテクチャ、技術の実現、新しいアプリケーションに関する構造化されたチュートリアルを提供する。
  論文  参考訳（メタデータ） (2025-05-03T13:55:38Z)
• Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency [6.306413686006502]
  我々はOllamaライブラリから28の量子化大言語モデル(LLM)を包括的に分析する。 我々は、複数の量子化レベルおよびタスクタイプにわたるエネルギー効率、推論性能、出力精度を評価する。 その結果,異なる量子化設定におけるエネルギー効率,推定速度,精度のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2025-04-04T11:29:30Z)
• Investigating Energy Efficiency and Performance Trade-offs in LLM Inference Across Tasks and DVFS Settings [1.5749416770494706]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクにおいて大幅に改善されている。 LLMはリソース集約型であり、トレーニングと推論の両方に広範な計算資源を必要とする。 導入が加速するにつれて、LLMの持続性は重要な問題となっている。
  論文  参考訳（メタデータ） (2025-01-14T16:02:33Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• GUIDE: A Global Unified Inference Engine for Deploying Large Language Models in Heterogeneous Environments [1.0558515062670693]
  現実世界のシナリオにおける大規模言語モデル(LLM)は依然として重要な課題である。 これらの課題は、しばしばメモリ使用率、レイテンシ、スループットの非効率につながる。 バッチレイテンシ、TTFT、デコードスループットといった主要なメトリクスに対して、予測エラーを9.9%から42.3%の精度で達成し、これらの問題に対処するフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-12-06T05:46:43Z)
• Impact of ML Optimization Tactics on Greener Pre-Trained ML Models [46.78148962732881]
  本研究の目的は,画像分類データセットと事前学習モデルの解析,最適化モデルと非最適化モデルを比較して推論効率を向上させること,最適化の経済的影響を評価することである。 画像分類におけるPyTorch最適化手法(動的量子化、トーチ・コンパイル、局所プルーニング、グローバルプルーニング)と42のHugging Faceモデルの影響を評価するための制御実験を行った。 動的量子化は推論時間とエネルギー消費の大幅な削減を示し、大規模システムに非常に適している。
  論文  参考訳（メタデータ） (2024-09-19T16:23:03Z)
• Hardware Acceleration of LLMs: A comprehensive survey and comparison [0.0]
  大規模言語モデル(LLM)は、自然言語処理タスクの強力なツールとして登場し、人間のようなテキストを理解して生成する能力によって、フィールドに革命をもたらした。 本稿では,ハードウェアアクセラレーションを用いた大規模言語モデルのためのトランスフォーマーネットワークの高速化に向けた,いくつかの研究成果を包括的に調査する。
  論文  参考訳（メタデータ） (2024-09-05T09:43:25Z)
• The Price of Prompting: Profiling Energy Use in Large Language Models Inference [5.254805405012678]
  本稿では,大規模言語モデル推論プロセスにおいて消費されるエネルギーを監視し,分析するフレームワークであるMELODIを紹介する。 MELODIを使用して生成されたデータセットは、幅広いLLMデプロイメントフレームワーク、複数の言語モデル、広範なプロンプトデータセットを含んでいる。 その結果,エネルギー効率の相違が指摘され,持続可能対策の最適化と導入の十分な範囲が示唆された。
  論文  参考訳（メタデータ） (2024-07-04T12:16:28Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Efficiency Pentathlon: A Standardized Arena for Efficiency Evaluation [82.85015548989223]
  Pentathlonは、モデル効率の総合的で現実的な評価のためのベンチマークである。 Pentathlonは、モデルライフサイクルにおける計算の大部分を占める推論に焦点を当てている。 レイテンシ、スループット、メモリオーバーヘッド、エネルギー消費など、さまざまな効率面をターゲットにしたメトリクスが組み込まれている。
  論文  参考訳（メタデータ） (2023-07-19T01:05:33Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Learning Implicit Priors for Motion Optimization [105.11889448885226]
  エネルギーベースモデル(EBM)は、表現力のある確率密度分布を表す。 本稿では,EMMを動作最適化に適用するために必要となるモデリングとアルゴリズムの選択について述べる。
  論文  参考訳（メタデータ） (2022-04-11T19:14:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。