論文の概要: How to use model architecture and training environment to estimate the energy consumption of DL training

• arxiv url: http://arxiv.org/abs/2307.05520v4
• Date: Thu, 21 Nov 2024 19:09:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:02:14.113158
• Title: How to use model architecture and training environment to estimate the energy consumption of DL training
• Title（参考訳）: モデルアーキテクチャと学習環境の活用によるDLトレーニングの省エネ効果評価
• Authors: Santiago del Rey, Silverio Martínez-Fernández, Luís Cruz, Xavier Franch,
• Abstract要約: 本研究は,Deep Learning Trainingにおけるエネルギー消費と2つの関連する設計決定との関係を活用することを目的とする。 本研究では, トレーニングの消費電力特性について検討し, 4つの新しいエネルギー推定法を提案する。 その結果、適切なモデルアーキテクチャとトレーニング環境を選択することで、エネルギー消費を劇的に削減できることがわかった。
• 参考スコア（独自算出の注目度）: 5.190998244098203
• License:
• Abstract: To raise awareness of the huge impact Deep Learning (DL) has on the environment, several works have tried to estimate the energy consumption and carbon footprint of DL-based systems across their life cycle. However, the estimations for energy consumption in the training stage usually rely on assumptions that have not been thoroughly tested. This study aims to move past these assumptions by leveraging the relationship between energy consumption and two relevant design decisions in DL training; model architecture, and training environment. To investigate these relationships, we collect multiple metrics related to energy efficiency and model correctness during the models' training. Then, we outline the trade-offs between the measured energy consumption and the models' correctness regarding model architecture, and their relationship with the training environment. Finally, we study the training's power consumption behavior and propose four new energy estimation methods. Our results show that selecting the proper model architecture and training environment can reduce energy consumption dramatically (up to 80.72%) at the cost of negligible decreases in correctness. Also, we find evidence that GPUs should scale with the models' computational complexity for better energy efficiency. Furthermore, we prove that current energy estimation methods are unreliable and propose alternatives 2x more precise.
• Abstract（参考訳）: 深層学習(DL)が環境に与える影響の認識を高めるために, ライフサイクル全体にわたって, DLベースのシステムのエネルギー消費と炭素フットプリントの推定を試みた研究がいくつかある。 しかし、訓練段階でのエネルギー消費の見積もりは、十分にテストされていない仮定に依存している。 本研究は, DLトレーニングにおけるエネルギー消費と関連する2つの設計決定, モデルアーキテクチャ, トレーニング環境の関係を利用して, これらの仮定を克服することを目的とする。 これらの関係を調べるために,モデルのトレーニング中にエネルギー効率とモデルの正しさに関する複数の指標を収集する。 次に, 測定したエネルギー消費とモデルアーキテクチャに関するモデルの正しさのトレードオフと, トレーニング環境との関係について概説する。 最後に, トレーニングの消費電力挙動について検討し, 4つの新しいエネルギー推定法を提案する。 その結果, 適切なモデルアーキテクチャとトレーニング環境を選択することで, 無視できるコストでエネルギー消費が劇的に減少し(最大80.72%) , 精度が低下することが示唆された。 また、GPUがよりエネルギー効率を高めるために、モデルの計算複雑性とスケールする必要があるという証拠も見つかる。 さらに、現在のエネルギー推定法は信頼性が低いことを証明し、2倍精度の代替案を提案する。

関連論文リスト

• Impact of ML Optimization Tactics on Greener Pre-Trained ML Models [46.78148962732881]
  本研究の目的は,画像分類データセットと事前学習モデルの解析,最適化モデルと非最適化モデルを比較して推論効率を向上させること,最適化の経済的影響を評価することである。 画像分類におけるPyTorch最適化手法(動的量子化、トーチ・コンパイル、局所プルーニング、グローバルプルーニング)と42のHugging Faceモデルの影響を評価するための制御実験を行った。 動的量子化は推論時間とエネルギー消費の大幅な削減を示し、大規模システムに非常に適している。
  論文  参考訳（メタデータ） (2024-09-19T16:23:03Z)
• Computing Within Limits: An Empirical Study of Energy Consumption in ML Training and Inference [2.553456266022126]
  機械学習(ML)は大きな進歩を遂げているが、その環境のフットプリントは依然として懸念されている。 本稿では,グリーンMLの環境影響の増大を認め,グリーンMLについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:59:34Z)
• Watt For What: Rethinking Deep Learning's Energy-Performance Relationship [13.505163099299025]
  深層学習モデルのモデル精度と消費電力のトレードオフについて検討する。 使用電力単位当たりの精度を評価することにより、より小型でエネルギー効率の高いモデルが研究を著しく高速化できることを示す。 この研究は、より公平な研究環境に寄与し、より小さなエンティティはより大きなエンティティと効果的に競合できる。
  論文  参考訳（メタデータ） (2023-10-10T11:08:31Z)
• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• Accuracy is not the only Metric that matters: Estimating the Energy Consumption of Deep Learning Models [33.45069308137142]
  我々は、実践者が実際に走ったり訓練したりすることなく、事前にモデルのエネルギー需要を見積もることができるエネルギー推定パイプライン1を作成しました。 そこで我々は,高品質なエネルギーデータを収集し,推定層エネルギーを蓄積することによりDLモデルのエネルギー消費を予測できる第1ベースラインモデルを構築した。
  論文  参考訳（メタデータ） (2023-04-03T11:35:10Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• Energy Efficiency of Training Neural Network Architectures: An Empirical Study [11.325530936177493]
  ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。 このようなモデルを訓練するために必要な計算は、大きな炭素フットプリントを必要とする。 本研究では, DLモデルアーキテクチャと環境影響との関係を, エネルギー消費の観点から検討した。
  論文  参考訳（メタデータ） (2023-02-02T09:20:54Z)
• Full-Cycle Energy Consumption Benchmark for Low-Carbon Computer Vision [31.781943982148025]
  我々は,効率的なコンピュータビジョンモデルのための最初の大規模エネルギー消費ベンチマークを示す。 モデル利用強度の異なる全サイクルエネルギー消費を明示的に評価するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2021-08-30T18:22:36Z)
• HULK: An Energy Efficiency Benchmark Platform for Responsible Natural Language Processing [76.38975568873765]
  本稿では,自然言語処理のためのマルチタスクエネルギー効率ベンチマークプラットフォームであるHULKを紹介する。 我々は、事前訓練されたモデルのエネルギー効率を時間とコストの観点から比較する。
  論文  参考訳（メタデータ） (2020-02-14T01:04:19Z)
• NeurOpt: Neural network based optimization for building energy management and climate control [58.06411999767069]
  モデル同定のコストを削減するために,ニューラルネットワークに基づくデータ駆動制御アルゴリズムを提案する。 イタリアにある10の独立したゾーンを持つ2階建ての建物で、学習と制御のアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2020-01-22T00:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。