論文の概要: Measuring the Energy Consumption and Efficiency of Deep Neural Networks:
An Empirical Analysis and Design Recommendations
- arxiv url: http://arxiv.org/abs/2403.08151v1
- Date: Wed, 13 Mar 2024 00:27:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 16:22:50.164696
- Title: Measuring the Energy Consumption and Efficiency of Deep Neural Networks:
An Empirical Analysis and Design Recommendations
- Title(参考訳): ディープニューラルネットワークのエネルギー消費と効率の測定
実証分析と設計勧告
- Authors: Charles Edison Tripp, Jordan Perr-Sauer, Jamil Gafur, Amabarish Nag,
Avi Purkayastha, Sagi Zisman, Erik A. Bensen
- Abstract要約: BUTTER-Eデータセットは、BUTTER Empirical Deep Learningデータセットの拡張である。
このデータセットは、データセットのサイズ、ネットワーク構造、エネルギー使用の複雑な関係を明らかにする。
本稿では,ネットワークサイズ,コンピューティング,メモリ階層を考慮した,単純かつ効率的なエネルギーモデルを提案する。
- 参考スコア(独自算出の注目度): 0.49478969093606673
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Addressing the so-called ``Red-AI'' trend of rising energy consumption by
large-scale neural networks, this study investigates the actual energy
consumption, as measured by node-level watt-meters, of training various fully
connected neural network architectures. We introduce the BUTTER-E dataset, an
augmentation to the BUTTER Empirical Deep Learning dataset, containing energy
consumption and performance data from 63,527 individual experimental runs
spanning 30,582 distinct configurations: 13 datasets, 20 sizes (number of
trainable parameters), 8 network ``shapes'', and 14 depths on both CPU and GPU
hardware collected using node-level watt-meters. This dataset reveals the
complex relationship between dataset size, network structure, and energy use,
and highlights the impact of cache effects. We propose a straightforward and
effective energy model that accounts for network size, computing, and memory
hierarchy. Our analysis also uncovers a surprising, hardware-mediated
non-linear relationship between energy efficiency and network design,
challenging the assumption that reducing the number of parameters or FLOPs is
the best way to achieve greater energy efficiency. Highlighting the need for
cache-considerate algorithm development, we suggest a combined approach to
energy efficient network, algorithm, and hardware design. This work contributes
to the fields of sustainable computing and Green AI, offering practical
guidance for creating more energy-efficient neural networks and promoting
sustainable AI.
- Abstract(参考訳): 本研究では,大規模ニューラルネットワークによるエネルギー消費の増大といういわゆる「赤AI」の傾向に対処し,ノードレベルのワットメータによって測定された実際のエネルギー消費について検討した。
BUTTER-EデータセットはBUTTER Empirical Deep Learningデータセットへの拡張であり、13のデータセット、20のサイズ(トレーニング可能なパラメータ数)、8のネットワーク‘shapes’、ノードレベルのワットメーターを使用して収集されたCPUおよびGPUハードウェアの14の深さという、30,582の異なる構成で、63,527の個々の実験実行から得られるエネルギー消費とパフォーマンスデータを含んでいる。
このデータセットは、データセットのサイズ、ネットワーク構造、エネルギー使用の間の複雑な関係を明らかにし、キャッシュ効果の影響を強調します。
本稿では,ネットワークサイズ,コンピューティング,メモリ階層を考慮した,単純かつ効率的なエネルギーモデルを提案する。
我々の分析は、エネルギー効率とネットワーク設計の間の驚くべきハードウェアによる非線形関係を明らかにし、パラメータ数やFLOPを減らすことがエネルギー効率を高める最良の方法であるという仮定に挑戦する。
キャッシュ・コンシデント・アルゴリズム開発の必要性を浮き彫りにして,エネルギー効率の高いネットワーク,アルゴリズム,ハードウェア設計へのアプローチを提案する。
この研究は、持続可能なコンピューティングとグリーンAIの分野に貢献し、よりエネルギー効率の良いニューラルネットワークを作成し、持続可能なAIを促進するための実践的なガイダンスを提供する。
関連論文リスト
- LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization [51.9395471326897]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-01-26T05:23:11Z) - Data-driven Energy Efficiency Modelling in Large-scale Networks: An
Expert Knowledge and ML-based Approach [0.0]
本稿では,通信ネットワーク(SRCON)フレームワークのシミュレーション現実について紹介する。
ライブのネットワークデータを活用し、機械学習(ML)とエキスパートベースのモデルをブレンドする。
その結果、ネットワークエネルギー効率のモデリングにオペレーターが使用する最先端技術よりも大きな効果が得られた。
論文 参考訳(メタデータ) (2023-12-31T10:03:08Z) - Unveiling Energy Efficiency in Deep Learning: Measurement, Prediction,
and Scoring across Edge Devices [8.54878778868253]
我々はエネルギー測定、予測、効率評価を含む3倍の研究を行う。
まず、デバイス上での深層学習のエネルギー消費特性を明らかにするための、第1級の詳細な測定結果を示す。
第2に、カーネルレベルのエネルギーデータセットに基づいて、エッジデバイスのための最初のカーネルレベルのエネルギー予測器を設計、実装する。
論文 参考訳(メタデータ) (2023-10-19T23:55:00Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳(メタデータ) (2023-08-27T03:55:28Z) - Precise Energy Consumption Measurements of Heterogeneous Artificial
Intelligence Workloads [0.534434568021034]
本稿では,異なるタイプの計算ノード上でのディープラーニングモデルの典型的な2つの応用のエネルギー消費の測定を行う。
我々のアプローチの1つの利点は、スーパーコンピュータの全ユーザーがエネルギー消費に関する情報を利用できることである。
論文 参考訳(メタデータ) (2022-12-03T21:40:55Z) - Energy Consumption of Neural Networks on NVIDIA Edge Boards: an
Empirical Model [6.809944967863927]
近年、レイテンシの低減とデータプライバシの保護のために、ディープラーニング推論タスクの実行を、ユーザに近いネットワークのエッジにシフトする傾向があります。
本研究では,現代のエッジノードにおける推論タスクのエネルギ消費をプロファイリングすることを目的とする。
そこで我々は, 検討ボード上である推論タスクのエネルギー消費を推定できる, 単純で実用的なモデルを構築した。
論文 参考訳(メタデータ) (2022-10-04T14:12:59Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳(メタデータ) (2021-01-31T22:48:50Z) - Energy Drain of the Object Detection Processing Pipeline for Mobile
Devices: Analysis and Implications [77.00418462388525]
本稿では、移動体拡張現実(AR)クライアントのエネルギー消費と、畳み込みニューラルネットワーク(CNN)に基づく物体検出を行う際の検出遅延について、初めて詳細な実験を行った。
我々は,移動体ARクライアントのエネルギー分析を精査し,CNNによる物体検出を行う際のエネルギー消費に関するいくつかの興味深い視点を明らかにした。
論文 参考訳(メタデータ) (2020-11-26T00:32:07Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳(メタデータ) (2020-10-02T16:50:26Z) - DepthNet Nano: A Highly Compact Self-Normalizing Neural Network for
Monocular Depth Estimation [76.90627702089357]
DepthNet Nanoは、人間の機械の共同設計戦略を用いて設計された単眼深度推定のためのコンパクトなディープニューラルネットワークである。
提案したDepthNet Nanoは、最先端のネットワークで同等の性能を保ちながら、高い効率のネットワークアーキテクチャを持っている。
論文 参考訳(メタデータ) (2020-04-17T00:41:35Z) - Improving Efficiency in Neural Network Accelerator Using Operands
Hamming Distance optimization [11.309076080980828]
データパスのエネルギーは、入力オペランドを演算ユニットにストリーミングする際にビットフリップと高い相関を示す。
本稿では,加速器とネットワークの協調最適化のための学習後最適化アルゴリズムとハミング距離対応トレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-13T00:36:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。