論文の概要: Energy Consumption of Neural Networks on NVIDIA Edge Boards: an
Empirical Model
- arxiv url: http://arxiv.org/abs/2210.01625v1
- Date: Tue, 4 Oct 2022 14:12:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 14:50:38.891086
- Title: Energy Consumption of Neural Networks on NVIDIA Edge Boards: an
Empirical Model
- Title（参考訳）: nvidia edgeボード上でのニューラルネットワークのエネルギー消費 : 実験モデル
- Authors: Seyyidahmed Lahmer, Aria Khoshsirat, Michele Rossi and Andrea Zanella
- Abstract要約: 近年、レイテンシの低減とデータプライバシの保護のために、ディープラーニング推論タスクの実行を、ユーザに近いネットワークのエッジにシフトする傾向があります。
本研究では,現代のエッジノードにおける推論タスクのエネルギ消費をプロファイリングすることを目的とする。
そこで我々は, 検討ボード上である推論タスクのエネルギー消費を推定できる, 単純で実用的なモデルを構築した。
- 参考スコア（独自算出の注目度）: 6.809944967863927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, there has been a trend of shifting the execution of deep learning
inference tasks toward the edge of the network, closer to the user, to reduce
latency and preserve data privacy. At the same time, growing interest is being
devoted to the energetic sustainability of machine learning. At the
intersection of these trends, we hence find the energetic characterization of
machine learning at the edge, which is attracting increasing attention.
Unfortunately, calculating the energy consumption of a given neural network
during inference is complicated by the heterogeneity of the possible underlying
hardware implementation. In this work, we hence aim at profiling the energetic
consumption of inference tasks for some modern edge nodes and deriving simple
but realistic models. To this end, we performed a large number of experiments
to collect the energy consumption of convolutional and fully connected layers
on two well-known edge boards by NVIDIA, namely Jetson TX2 and Xavier. From the
measurements, we have then distilled a simple, practical model that can provide
an estimate of the energy consumption of a certain inference task on the
considered boards. We believe that this model can be used in many contexts as,
for instance, to guide the search for efficient architectures in Neural
Architecture Search, as a heuristic in Neural Network pruning, or to find
energy-efficient offloading strategies in a Split computing context, or simply
to evaluate the energetic performance of Deep Neural Network architectures.
- Abstract（参考訳）: 近年,レイテンシの低減とデータのプライバシ保護のために,ディープラーニング推論タスクの実行をネットワークの端,ユーザに近い場所にシフトする傾向にある。
同時に、成長する関心は、機械学習のエネルギッシュな持続可能性に向けられている。
これらの傾向の交わりで、エッジにおける機械学習のエネルギー的特徴を見出すことができ、注目を集めている。
残念ながら、推論中に与えられたニューラルネットワークのエネルギー消費を計算することは、基盤となるハードウェア実装の不均一性によって複雑である。
そこで本研究では,現代のエッジノードにおける推論タスクのエネルギー消費をプロファイリングし,単純だが現実的なモデルを導出することを目的とする。
この目的のために、NVIDIAによる2つの有名なエッジボード、すなわちJetson TX2とXavierで、畳み込み層と完全連結層のエネルギー消費を収集する多数の実験を行った。
測定結果から、検討したボード上のある推論タスクのエネルギー消費量を見積もることのできる、単純で実用的なモデルを蒸留した。
このモデルは、ニューラルネットワークのプルーニングにおけるヒューリスティックとして、ニューラルネットワーク探索における効率的なアーキテクチャの探索のガイド、分割コンピューティングコンテキストにおけるエネルギー効率の高いオフロード戦略の探索、あるいは単にディープニューラルネットワークアーキテクチャのエネルギーパフォーマンスを評価するために、多くのコンテキストで使用できると信じています。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - From Computation to Consumption: Exploring the Compute-Energy Link for Training and Testing Neural Networks for SED Systems [9.658615045493734]
本稿では,音事象検出システムの主要なコンポーネントであるニューラルネットワークアーキテクチャについて検討する。
我々は,小規模から大規模アーキテクチャの訓練および試験におけるエネルギー消費量を測定した。
我々は,エネルギー消費,浮動小数点演算数,パラメータ数,GPU/メモリ利用率の複雑な関係を確立する。
論文 参考訳（メタデータ） (2024-09-08T12:51:34Z) - Revisiting DNN Training for Intermittently Powered Energy Harvesting Micro Computers [0.6721767679705013]
本研究では,エネルギー制約環境下でのディープニューラルネットワークに適した新しいトレーニング手法を紹介し,評価する。
本稿では,デバイスアーキテクチャとエネルギー可用性の変動性の両方に適応する動的ドロップアウト手法を提案する。
予備的な結果は、この戦略が5%未満の計算量を持つ最先端技術と比較して6～22%の精度向上をもたらすことを示している。
論文 参考訳（メタデータ） (2024-08-25T01:13:00Z) - Measuring the Energy Consumption and Efficiency of Deep Neural Networks:
An Empirical Analysis and Design Recommendations [0.49478969093606673]
BUTTER-Eデータセットは、BUTTER Empirical Deep Learningデータセットの拡張である。
このデータセットは、データセットのサイズ、ネットワーク構造、エネルギー使用の複雑な関係を明らかにする。
本稿では,ネットワークサイズ,コンピューティング,メモリ階層を考慮した,単純かつ効率的なエネルギーモデルを提案する。
論文 参考訳（メタデータ） (2024-03-13T00:27:19Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳（メタデータ） (2023-08-27T03:55:28Z) - Energy Transformer [64.22957136952725]
我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。
本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-02-14T18:51:22Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳（メタデータ） (2021-06-02T07:36:27Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳（メタデータ） (2021-01-31T22:48:50Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - FG-Net: Fast Large-Scale LiDAR Point CloudsUnderstanding Network
Leveraging CorrelatedFeature Mining and Geometric-Aware Modelling [15.059508985699575]
FG-Netは、Voxelizationなしで大規模ポイントクラウドを理解するための一般的なディープラーニングフレームワークです。
相関型特徴マイニングと変形性畳み込みに基づく幾何認識モデルを用いた深層畳み込みニューラルネットワークを提案する。
我々のアプローチは精度と効率の点で最先端のアプローチを上回っている。
論文 参考訳（メタデータ） (2020-12-17T08:20:09Z) - Benchmarking Energy-Conserving Neural Networks for Learning Dynamics
from Data [9.811643357656196]
HNN, LNN, DeLaN, SymODEN, CHNN, CLNNなど,最近提案した10種類のエネルギー保存型ニューラルネットワークモデルを調査した。
我々は、これらのエネルギー保存モデルのいくつかをエネルギーベースコントローラの設計に活用する可能性について指摘している。
論文 参考訳（メタデータ） (2020-12-03T23:53:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。