論文の概要: The ML.ENERGY Benchmark: Toward Automated Inference Energy Measurement and Optimization

• arxiv url: http://arxiv.org/abs/2505.06371v1
• Date: Fri, 09 May 2025 18:27:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.808219
• Title: The ML.ENERGY Benchmark: Toward Automated Inference Energy Measurement and Optimization
• Title（参考訳）: ML.ENERGYベンチマーク:自動推論エネルギー測定と最適化に向けて
• Authors: Jae-Won Chung, Jiachen Liu, Jeff J. Ma, Ruofan Wu, Oh Jun Kweon, Yuxuan Xia, Zhiyu Wu, Mosharaf Chowdhury,
• Abstract要約: エネルギーは、しばしば見落とされ、探索されていない、あるいはMLシステム構築の文脈でよく理解されていない指標である。 本稿では,現実的なサービス環境下での推論エネルギー消費を測定するためのベンチマークスイートとツールであるML.ENERGYベンチマークを紹介する。
• 参考スコア（独自算出の注目度）: 18.675499212393785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the adoption of Generative AI in real-world services grow explosively, energy has emerged as a critical bottleneck resource. However, energy remains a metric that is often overlooked, under-explored, or poorly understood in the context of building ML systems. We present the ML.ENERGY Benchmark, a benchmark suite and tool for measuring inference energy consumption under realistic service environments, and the corresponding ML.ENERGY Leaderboard, which have served as a valuable resource for those hoping to understand and optimize the energy consumption of their generative AI services. In this paper, we explain four key design principles for benchmarking ML energy we have acquired over time, and then describe how they are implemented in the ML.ENERGY Benchmark. We then highlight results from the latest iteration of the benchmark, including energy measurements of 40 widely used model architectures across 6 different tasks, case studies of how ML design choices impact energy consumption, and how automated optimization recommendations can lead to significant (sometimes more than 40%) energy savings without changing what is being computed by the model. The ML.ENERGY Benchmark is open-source and can be easily extended to various customized models and application scenarios.
• Abstract（参考訳）: 現実のサービスにおける生成AIの採用が爆発的に増加するにつれ、エネルギーは重要なボトルネックリソースとして現れてきた。 しかし、エネルギーはしばしば見過ごされ、探索されていない、あるいはMLシステム構築の文脈でよく理解されていない計量である。 本稿では、現実的なサービス環境下での推論エネルギー消費を測定するためのベンチマークスイートであるML.ENERGYベンチマークと、それに対応するML.ENERGY Leaderboardを紹介する。 本稿では,これまでに取得したMLエネルギーをベンチマークするための4つの重要な設計原則を説明し,ML.ENERGYベンチマークでどのように実装されているかを説明する。 次に,6つのタスクにまたがる40の広く使用されているモデルアーキテクチャのエネルギー測定,ML設計の選択がエネルギー消費に与える影響のケーススタディ,自動最適化の推奨が,モデルによって計算されているものを変更することなく,大幅な(時には40%を超える)省エネにつながる可能性など,ベンチマークの最新イテレーションの結果を強調した。 ML.ENERGYベンチマークはオープンソースであり、様々なカスタマイズされたモデルやアプリケーションシナリオに容易に拡張できる。

関連論文リスト

• Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency [6.306413686006502]
  我々はOllamaライブラリから28の量子化大言語モデル(LLM)を包括的に分析する。 我々は、複数の量子化レベルおよびタスクタイプにわたるエネルギー効率、推論性能、出力精度を評価する。 その結果,異なる量子化設定におけるエネルギー効率,推定速度,精度のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2025-04-04T11:29:30Z)
• Green MLOps to Green GenOps: An Empirical Study of Energy Consumption in Discriminative and Generative AI Operations [2.2765705959685234]
  本研究では,実世界のMLOpsパイプラインにおける識別型および生成型AIモデルのエネルギー消費について検討する。 さまざまな構成、モデル、データセットにわたるレプリケーションの容易性を保証するために、ソフトウェアベースのパワー測定を採用しています。
  論文  参考訳（メタデータ） (2025-03-31T10:28:04Z)
• MLPerf Power: Benchmarking the Energy Efficiency of Machine Learning Systems from Microwatts to Megawatts for Sustainable AI [5.50579824344998]
  機械学習(ML)技術は、さまざまなシステムで電力消費が急増している。 本稿では,マイクロワットからメガワットまでの電力レベルでMLシステムのエネルギー効率を評価するための総合的なベンチマーク手法であるSerf Powerを紹介する。
  論文  参考訳（メタデータ） (2024-10-15T20:06:33Z)
• Impact of ML Optimization Tactics on Greener Pre-Trained ML Models [46.78148962732881]
  本研究の目的は,画像分類データセットと事前学習モデルの解析,最適化モデルと非最適化モデルを比較して推論効率を向上させること,最適化の経済的影響を評価することである。 画像分類におけるPyTorch最適化手法(動的量子化、トーチ・コンパイル、局所プルーニング、グローバルプルーニング)と42のHugging Faceモデルの影響を評価するための制御実験を行った。 動的量子化は推論時間とエネルギー消費の大幅な削減を示し、大規模システムに非常に適している。
  論文  参考訳（メタデータ） (2024-09-19T16:23:03Z)
• Normalizing Energy Consumption for Hardware-Independent Evaluation [9.658615045493734]
  本稿では,異なるハードウェアプラットフォーム間でのエネルギー消費の正規化手法を提案する。 提案手法は,基準点数,回帰値の種類,および計算量を含めることが正規化過程に大きく影響を与えることを示す。
  論文  参考訳（メタデータ） (2024-09-09T13:38:00Z)
• Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
  生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。 この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。 これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。 本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
  論文  参考訳（メタデータ） (2023-11-28T15:09:36Z)
• LEAF + AIO: Edge-Assisted Energy-Aware Object Detection for Mobile Augmented Reality [77.00418462388525]
  モバイル拡張現実(MAR)アプリケーションは非常にエネルギーを消費する。 我々は、MARデバイスが動的に構成を変更することができるエッジベースのエネルギー対応MARシステムを設計する。 提案した動的MAR構成適応は、複数のMARクライアントのフレーム当たりのエネルギー消費を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2022-05-27T06:11:50Z)
• Automated Machine Learning: A Case Study on Non-Intrusive Appliance Load Monitoring [81.06807079998117]
  非侵入的機器負荷モニタリング(NIALM)のための自動機械学習(AutoML)を実現する新しい手法を提案する。 NIALMは、電子機器や家電のエネルギー消費を測定するためのスマートメーターに代わる費用対効果を提供する。
  論文  参考訳（メタデータ） (2022-03-06T10:12:56Z)
• Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable Edge Computing Systems [87.4519172058185]
  エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。 定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。 実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
  論文  参考訳（メタデータ） (2020-02-20T04:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。