論文の概要: Unveiling Energy Efficiency in Deep Learning: Measurement, Prediction, and Scoring across Edge Devices
- arxiv url: http://arxiv.org/abs/2310.18329v2
- Date: Mon, 10 Jun 2024 15:09:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 04:47:59.436224
- Title: Unveiling Energy Efficiency in Deep Learning: Measurement, Prediction, and Scoring across Edge Devices
- Title（参考訳）: 深層学習におけるエネルギー効率の解放:エッジデバイス間の計測・予測・スコーリング
- Authors: Xiaolong Tu, Anik Mallik, Dawei Chen, Kyungtae Han, Onur Altintas, Haoxin Wang, Jiang Xie,
- Abstract要約: 我々はエネルギー測定、予測、効率評価を含む3倍の研究を行う。
まず、デバイス上での深層学習のエネルギー消費特性を明らかにするための、第1級の詳細な測定結果を示す。
第2に、カーネルレベルのエネルギーデータセットに基づいて、エッジデバイスのための最初のカーネルレベルのエネルギー予測器を設計、実装する。
- 参考スコア（独自算出の注目度）: 8.140572894424208
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Today, deep learning optimization is primarily driven by research focused on achieving high inference accuracy and reducing latency. However, the energy efficiency aspect is often overlooked, possibly due to a lack of sustainability mindset in the field and the absence of a holistic energy dataset. In this paper, we conduct a threefold study, including energy measurement, prediction, and efficiency scoring, with an objective to foster transparency in power and energy consumption within deep learning across various edge devices. Firstly, we present a detailed, first-of-its-kind measurement study that uncovers the energy consumption characteristics of on-device deep learning. This study results in the creation of three extensive energy datasets for edge devices, covering a wide range of kernels, state-of-the-art DNN models, and popular AI applications. Secondly, we design and implement the first kernel-level energy predictors for edge devices based on our kernel-level energy dataset. Evaluation results demonstrate the ability of our predictors to provide consistent and accurate energy estimations on unseen DNN models. Lastly, we introduce two scoring metrics, PCS and IECS, developed to convert complex power and energy consumption data of an edge device into an easily understandable manner for edge device end-users. We hope our work can help shift the mindset of both end-users and the research community towards sustainability in edge computing, a principle that drives our research. Find data, code, and more up-to-date information at https://amai-gsu.github.io/DeepEn2023.
- Abstract（参考訳）: 今日、ディープラーニングの最適化は主に、高い推論精度とレイテンシの低減に焦点をあてた研究によって進められている。
しかし、エネルギー効率の側面はしばしば見過ごされ、おそらくは、この分野における持続可能性マインドセットの欠如と、総合的なエネルギーデータセットの欠如が原因である。
本稿では,様々なエッジデバイスを用いた深層学習におけるエネルギー・エネルギー消費の透明性向上を目的として,エネルギー測定,予測,効率評価を含む3つの研究を行った。
まず,デバイス上での深層学習のエネルギー消費特性を明らかにするための,第1報の詳細な測定結果を示す。
この研究により、エッジデバイス用の3つの広範なエネルギーデータセットが作成され、幅広いカーネル、最先端のDNNモデル、一般的なAIアプリケーションをカバーする。
第2に、カーネルレベルのエネルギーデータセットに基づいて、エッジデバイスのための最初のカーネルレベルのエネルギー予測器を設計、実装する。
評価結果は,予測器が未知のDNNモデルに対して一貫した正確なエネルギー推定を行う能力を示す。
最後に、エッジデバイスの複雑な電力・エネルギー消費データをエッジデバイスのエンドユーザーにとって分かりやすい方法に変換するために開発された2つの評価指標であるPCSとIECSを紹介する。
私たちの研究は、エンドユーザと研究コミュニティの両方の考え方を、エッジコンピューティングの持続可能性へとシフトさせたいと思っています。
データ、コード、さらに最新の情報はhttps://amai-gsu.github.io/DeepEn2023にある。
関連論文リスト
- Measuring the Energy Consumption and Efficiency of Deep Neural Networks:
An Empirical Analysis and Design Recommendations [0.49478969093606673]
BUTTER-Eデータセットは、BUTTER Empirical Deep Learningデータセットの拡張である。
このデータセットは、データセットのサイズ、ネットワーク構造、エネルギー使用の複雑な関係を明らかにする。
本稿では,ネットワークサイズ,コンピューティング,メモリ階層を考慮した,単純かつ効率的なエネルギーモデルを提案する。
論文 参考訳（メタデータ） (2024-03-13T00:27:19Z) - Green Edge AI: A Contemporary Survey [49.47249665895926]
グリーンエッジAIに関する現代の調査を紹介する。
その可能性にもかかわらず、エッジAIは重大な課題に直面している。主な原因は、無線エッジネットワークのリソース制限と、ディープラーニング(DL)のリソース集約性との間の二分である。
我々は、エッジAIシステムにおける3つの重要なタスクに対して、トレーニングデータ取得、エッジトレーニング、エッジ推論を含むエネルギー効率の高い設計手法について検討する。
論文 参考訳（メタデータ） (2023-12-01T04:04:37Z) - PolyThrottle: Energy-efficient Neural Network Inference on Edge Devices [10.01838504586422]
ML駆動システムの連続運転は、推論中にかなりのエネルギー消費をもたらす。
本稿では,GPU,メモリ,CPU周波数などのデバイス上のハードウェア要素の構成が,通常の微調整によるNN推論のエネルギー消費に与える影響について検討する。
本稿では,Constrained Bayesian Optimization を用いて,各ハードウェアコンポーネント間の構成をエネルギー保存的に最適化するPolyThrottleを提案する。
論文 参考訳（メタデータ） (2023-10-30T20:19:41Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳（メタデータ） (2023-08-27T03:55:28Z) - Sustainable Edge Intelligence Through Energy-Aware Early Exiting [0.726437825413781]
EHエッジインテリジェンスシステムにおいて,エネルギー適応型動的早期退避を提案する。
提案手法は, サンプルごとの最適計算量を決定する, エネルギー対応のEEポリシーを導出する。
その結果, エネルギーに依存しない政策と比較して, 精度は25%, サービスレートは35%向上した。
論文 参考訳（メタデータ） (2023-05-23T14:17:44Z) - Uncovering Energy-Efficient Practices in Deep Learning Training:
Preliminary Steps Towards Green AI [8.025202812165412]
我々は、エネルギー消費を精度に等しい重要性の指標とみなし、無関係なタスクやエネルギー使用量を減らす。
持続可能性の観点から深層学習パイプラインの訓練段階について検討する。
ディープラーニングモデルをトレーニングするための革新的で有望なエネルギー効率のプラクティスを強調します。
論文 参考訳（メタデータ） (2023-03-24T12:48:21Z) - Energy Consumption of Neural Networks on NVIDIA Edge Boards: an
Empirical Model [6.809944967863927]
近年、レイテンシの低減とデータプライバシの保護のために、ディープラーニング推論タスクの実行を、ユーザに近いネットワークのエッジにシフトする傾向があります。
本研究では,現代のエッジノードにおける推論タスクのエネルギ消費をプロファイリングすることを目的とする。
そこで我々は, 検討ボード上である推論タスクのエネルギー消費を推定できる, 単純で実用的なモデルを構築した。
論文 参考訳（メタデータ） (2022-10-04T14:12:59Z) - Learning, Computing, and Trustworthiness in Intelligent IoT
Environments: Performance-Energy Tradeoffs [62.91362897985057]
Intelligent IoT Environment(iIoTe)は、半自律IoTアプリケーションを協調実行可能な異種デバイスで構成されている。
本稿では,これらの技術の現状を概観し,その機能と性能,特にリソース,レイテンシ,プライバシ,エネルギー消費のトレードオフに注目した。
論文 参考訳（メタデータ） (2021-10-04T19:41:42Z) - Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。
継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
論文 参考訳（メタデータ） (2021-09-12T09:40:18Z) - Energy Drain of the Object Detection Processing Pipeline for Mobile
Devices: Analysis and Implications [77.00418462388525]
本稿では、移動体拡張現実(AR)クライアントのエネルギー消費と、畳み込みニューラルネットワーク(CNN)に基づく物体検出を行う際の検出遅延について、初めて詳細な実験を行った。
我々は,移動体ARクライアントのエネルギー分析を精査し,CNNによる物体検出を行う際のエネルギー消費に関するいくつかの興味深い視点を明らかにした。
論文 参考訳（メタデータ） (2020-11-26T00:32:07Z) - Towards the Systematic Reporting of the Energy and Carbon Footprints of
Machine Learning [68.37641996188133]
我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。
エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。
炭素排出量削減とエネルギー消費削減のための戦略を提案する。
論文 参考訳（メタデータ） (2020-01-31T05:12:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。