論文の概要: Magneton: Optimizing Energy Efficiency of ML Systems via Differential Energy Debugging
- arxiv url: http://arxiv.org/abs/2512.08365v1
- Date: Tue, 09 Dec 2025 08:41:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-10 22:28:07.882205
- Title: Magneton: Optimizing Energy Efficiency of ML Systems via Differential Energy Debugging
- Title(参考訳): マグネトロン:微分エネルギーデバッギングによるMLシステムのエネルギー効率の最適化
- Authors: Yi Pan, Wenbo Qian, Dedong Xie, Ruiyan Hu, Yigong Hu, Baris Kasikci,
- Abstract要約: 重要だが見落とされがちな非効率の源は、ソフトウェア設計の貧弱さによって引き起こされるソフトウェアエネルギーの無駄である。
これらの非効率性は広く使われているMLフレームワークやアプリケーションに現れるが、開発者はそれを検出して診断するための可視性やツールが欠けていることが多い。
差分エネルギーデバッグは、競合するMLシステムがエネルギー消費の異なる類似機能を実装する場合が多いという観察を生かした新しい手法である。
この知見に基づいて、我々は、演算子レベルで同様のMLシステム間のエネルギー消費を比較し、コード領域と過剰なエネルギー使用に関連する構成の選択を自動的に特定するエネルギープロファイラであるマグネトロンを設計、実装する。
- 参考スコア(独自算出の注目度): 8.58416976020519
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The training and deployment of machine learning (ML) models have become extremely energy-intensive. While existing optimization efforts focus primarily on hardware energy efficiency, a significant but overlooked source of inefficiency is software energy waste caused by poor software design. This often includes redundant or poorly designed operations that consume more energy without improving performance. These inefficiencies arise in widely used ML frameworks and applications, yet developers often lack the visibility and tools to detect and diagnose them. We propose differential energy debugging, a novel approach that leverages the observation that competing ML systems often implement similar functionality with vastly different energy consumption. Building on this insight, we design and implement Magneton, an energy profiler that compares energy consumption between similar ML systems at the operator level and automatically pinpoints code regions and configuration choices responsible for excessive energy use. Applied to 9 popular ML systems spanning LLM inference, general ML frameworks, and image generation, Magneton detects and diagnoses 16 known cases of software energy inefficiency and further discovers 8 previously unknown cases, 7 of which have been confirmed by developers.
- Abstract(参考訳): 機械学習(ML)モデルのトレーニングとデプロイは非常にエネルギー集約化されている。
既存の最適化の取り組みは主にハードウェアのエネルギー効率に重点を置いているが、ソフトウェア設計の貧弱さによって生じるソフトウェアエネルギーの無駄が、重要ではあるが見過ごされている。
これはしばしば、性能を改善することなくより多くのエネルギーを消費する冗長な、あるいは設計の不十分な操作を含む。
これらの非効率性は広く使われているMLフレームワークやアプリケーションに現れるが、開発者はそれを検出して診断するための可視性やツールが欠けていることが多い。
差分エネルギーデバッギング(差分エネルギーデバッギング)は、競合するMLシステムがエネルギー消費の異なる類似機能を実装する場合が多いという観察を生かした新しい手法である。
この知見に基づいて、我々は、演算子レベルで同様のMLシステム間のエネルギー消費を比較し、コード領域と過剰なエネルギー使用に関連する構成の選択を自動的に特定するエネルギープロファイラであるマグネトロンを設計、実装する。
LLM推論、一般的なMLフレームワーク、画像生成にまたがる9つの一般的なMLシステムに適用されたマグネトロンは、ソフトウェアエネルギ非効率の既知の16のケースを検出して診断し、さらに8つの既知のケースを発見し、そのうち7つは開発者によって確認されている。
関連論文リスト
- Leveraging LLMs to Automate Energy-Aware Refactoring of Parallel Scientific Codes [1.2178992475191555]
大規模言語モデル (LLM) は、並列的な科学的コードを生成するためにますます使われている。
エネルギー効率のよい並列コードを生成する自動スクリーニングフレームワークLASSI-EEを提案する。
我々は、k個の符号候補を生成する際に、期待されるエネルギー削減を定量化する新しい計量であるEnergy-reduction@kを紹介する。
論文 参考訳(メタデータ) (2025-05-04T17:05:34Z) - Can We Make Code Green? Understanding Trade-Offs in LLMs vs. Human Code Optimizations [45.243401722182554]
大規模言語モデル(LLM)は、パフォーマンスとエネルギー効率の最適化を開発者が支援すると主張している。
この研究は、科学と工学の応用のために学術と産業の両方で広く使われているマットラブで書かれたソフトウェアに焦点を当てている。
トップ100のGitHubリポジトリで400スクリプトのエネルギ中心の最適化を分析します。
論文 参考訳(メタデータ) (2025-03-26T00:27:29Z) - AI-Powered, But Power-Hungry? Energy Efficiency of LLM-Generated Code [45.77395425799378]
本稿では,Python,Java,C++の3つのプログラミング言語に対して,LLM生成コードのエネルギー効率と性能を初めて解析する。
結果から,C++ コードよりも Python と Java の生成に成功していることがわかった。
論文 参考訳(メタデータ) (2025-02-04T15:32:34Z) - Can Large-Language Models Help us Better Understand and Teach the Development of Energy-Efficient Software? [2.8812501020074968]
エネルギー効率のよいソフトウェア工学の技術は、しばしば学部のカリキュラムから欠落している。
本稿では,エネルギー効率のよいソフトウェアのための学習用モジュールの開発について提案する。
論文 参考訳(メタデータ) (2024-10-30T01:09:32Z) - MLPerf Power: Benchmarking the Energy Efficiency of Machine Learning Systems from Microwatts to Megawatts for Sustainable AI [5.50579824344998]
機械学習(ML)技術は、さまざまなシステムで電力消費が急増している。
本稿では,マイクロワットからメガワットまでの電力レベルでMLシステムのエネルギー効率を評価するための総合的なベンチマーク手法であるSerf Powerを紹介する。
論文 参考訳(メタデータ) (2024-10-15T20:06:33Z) - Impact of ML Optimization Tactics on Greener Pre-Trained ML Models [46.78148962732881]
本研究の目的は,画像分類データセットと事前学習モデルの解析,最適化モデルと非最適化モデルを比較して推論効率を向上させること,最適化の経済的影響を評価することである。
画像分類におけるPyTorch最適化手法(動的量子化、トーチ・コンパイル、局所プルーニング、グローバルプルーニング)と42のHugging Faceモデルの影響を評価するための制御実験を行った。
動的量子化は推論時間とエネルギー消費の大幅な削減を示し、大規模システムに非常に適している。
論文 参考訳(メタデータ) (2024-09-19T16:23:03Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-08-15T16:45:16Z) - Toward Cross-Layer Energy Optimizations in AI Systems [4.871463967255196]
エネルギー効率は、人工知能の採用に歯止めをかける要因になる可能性が高い。
人工知能(AI)や機械学習(ML)ツールや技術の普及によって、そのエネルギー効率が採用への歯止め要因になりそうである。
これは、生成AI(GenAI)モデルが巨大なエネルギー豚であるからである。
推論はさらにエネルギーを消費する。
論文 参考訳(メタデータ) (2024-04-10T01:35:17Z) - Multiagent Reinforcement Learning with an Attention Mechanism for
Improving Energy Efficiency in LoRa Networks [52.96907334080273]
ネットワーク規模が大きくなるにつれて、パケット衝突によるLoRaネットワークのエネルギー効率は急激に低下する。
マルチエージェント強化学習(MALoRa)に基づく伝送パラメータ割り当てアルゴリズムを提案する。
シミュレーションの結果,MALoRaはベースラインアルゴリズムと比較してシステムEEを著しく改善することがわかった。
論文 参考訳(メタデータ) (2023-09-16T11:37:23Z) - Automated Machine Learning: A Case Study on Non-Intrusive Appliance Load Monitoring [81.06807079998117]
非侵入的機器負荷モニタリング(NIALM)のための自動機械学習(AutoML)を実現する新しい手法を提案する。
NIALMは、電子機器や家電のエネルギー消費を測定するためのスマートメーターに代わる費用対効果を提供する。
論文 参考訳(メタデータ) (2022-03-06T10:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。