論文の概要: Zeus: Understanding and Optimizing GPU Energy Consumption of DNN Training

• arxiv url: http://arxiv.org/abs/2208.06102v1
• Date: Fri, 12 Aug 2022 03:50:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-15 13:05:42.605698
• Title: Zeus: Understanding and Optimizing GPU Energy Consumption of DNN Training
• Title（参考訳）: Zeus: DNNトレーニングにおけるGPUエネルギー消費の理解と最適化
• Authors: Jie You, Jae-Won Chung, Mosharaf Chowdhury
• Abstract要約: ディープニューラルネットワーク(DNN)のトレーニングは、毎年ますますリソースとエネルギー集約化が進んでいる。 本稿では、トレーニング性能を改善するための一般的な実践が、しばしば非効率なエネルギー消費につながることを観察する。 我々は、最適なジョブレベルとGPUレベルの設定を自動的に見つけることで、このトレードオフをナビゲートする最適化フレームワークZeusを提案する。
• 参考スコア（独自算出の注目度）: 5.050131615803843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks (DNNs) is becoming more and more resource- and energy-intensive every year. Unfortunately, existing works primarily focus on optimizing DNN training for faster completion, often without considering the impact on energy efficiency. In this paper, we observe that common practices to improve training performance can often lead to inefficient energy usage. More importantly, we demonstrate that there is a tradeoff between energy consumption and performance optimization. To this end, we propose an optimization framework, Zeus, to navigate this tradeoff by automatically finding optimal job- and GPU-level configurations for recurring DNN training jobs. Zeus uses an online exploration-exploitation approach in conjunction with just-in-time energy profiling, averting the need for expensive offline measurements, while adapting to data drifts over time. Our evaluation shows that Zeus can improve the energy efficiency of DNN training by 15.3%--75.8% for diverse workloads.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)のトレーニングは、毎年ますますリソースとエネルギー集約化が進んでいる。 残念なことに、既存の研究は主にエネルギー効率への影響を考慮せずにDNNトレーニングの最適化に重点を置いている。 本稿では、トレーニング性能を改善するための一般的な実践が、しばしば非効率なエネルギー消費につながることを観察する。 さらに,エネルギー消費と性能最適化にはトレードオフがあることを実証する。 そこで本研究では,DNNトレーニングジョブを繰り返すための最適なジョブレベルとGPUレベルの設定を自動的に見つけることで,このトレードオフをナビゲートする最適化フレームワークZeusを提案する。 Zeusは、ジャスト・イン・タイムのエネルギープロファイリングと併用して、オンラインの探査・探査アプローチを採用し、高価なオフライン計測の必要性を回避し、時間の経過とともにデータドリフトに適応する。 我々の評価では、多様なワークロードに対して、ZeusはDNNトレーニングのエネルギー効率を15.3%--75.8%向上させることができる。

関連論文リスト

• CycleBNN: Cyclic Precision Training in Binary Neural Networks [13.756549063691624]
  本稿では,バイナリニューラルネットワーク(BNN)について述べる。 BNNは計算オーバーヘッドとメモリフットプリントを大幅に削減し、完全な精度ネットワークを提供する。 しかし、エネルギー集約的なトレーニングの課題とパフォーマンスの低下は、永続的な問題である。 従来の研究とは異なり,本研究では,サイクロンBNNを導入して,BNNとサイクル精度トレーニングを統合した革新的な方法論を提案する。
  論文  参考訳（メタデータ） (2024-09-28T08:51:25Z)
• Reconsidering the energy efficiency of spiking neural networks [4.37952937111446]
  スパイキングニューラルネットワーク(SNN)は乗算を使わないため、一般的にエネルギー効率が高いと考えられている。 ハードウェアの観点から,ニューラルネットワーク(ANN)とSNNのエネルギー消費の比較を行った。
  論文  参考訳（メタデータ） (2024-08-29T07:00:35Z)
• Towards Physical Plausibility in Neuroevolution Systems [0.276240219662896]
  人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用の増加は、トレーニングや推論における消費電力を増加させている。 本研究は機械学習(ML)におけるエネルギー消費の増大問題に対処する。 電力使用量をわずかに削減しても、大幅な省エネ、ユーザ、企業、環境に恩恵をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-01-31T10:54:34Z)
• etuner: A Redundancy-Aware Framework for Efficient Continual Learning Application on Edge Devices [47.365775210055396]
  推論精度、微調整実行時間、エネルギー効率を最適化する効率的なエッジ連続学習フレームワークであるETunerを提案する。 実験結果から,ETunerは全体の微調整実行時間を64%削減し,エネルギー消費量を56%削減し,即時モデル微調整アプローチよりも平均推定精度を1.75%向上した。
  論文  参考訳（メタデータ） (2024-01-30T02:41:05Z)
• Gradual Optimization Learning for Conformational Energy Minimization [69.36925478047682]
  ニューラルネットワークによるエネルギー最小化のためのGradual Optimization Learning Framework(GOLF)は、必要な追加データを大幅に削減する。 GOLFでトレーニングしたニューラルネットワークは,種々の薬物様分子のベンチマークにおいて,オラクルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-11-05T11:48:08Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
  我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。 我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
  論文  参考訳（メタデータ） (2021-06-21T17:59:51Z)
• EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
  本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。 トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。 実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
  論文  参考訳（メタデータ） (2021-04-01T07:08:36Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• Compute, Time and Energy Characterization of Encoder-Decoder Networks with Automatic Mixed Precision Training [6.761235154230549]
  モデル性能を犠牲にすることなく、混合精度トレーニングを活用することにより、トレーニング時間の大幅な改善が可能であることを示す。 ネットワークのトレーニング可能なパラメータの数は1549%増加し、4つのエンコード層を持つUNetのエネルギー使用量は63.22%増加した。
  論文  参考訳（メタデータ） (2020-08-18T17:44:24Z)
• Energy-Aware DNN Graph Optimization [15.308980366876705]
  本稿では,ディープニューラルネットワーク(DNN)グラフのエネルギー消費やエネルギーと推論性能のバランスを最適化する手法を提案する。 その結果,提案手法は24%の省エネ,すなわち無視可能な性能への影響を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T14:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。