論文の概要: Energy Efficiency of Training Neural Network Architectures: An Empirical Study

• arxiv url: http://arxiv.org/abs/2302.00967v1
• Date: Thu, 2 Feb 2023 09:20:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 14:39:16.180342
• Title: Energy Efficiency of Training Neural Network Architectures: An Empirical Study
• Title（参考訳）: ニューラルネットワークアーキテクチャの学習におけるエネルギー効率 : 実証的研究
• Authors: Yinlena Xu, Silverio Mart\'inez-Fern\'andez, Matias Martinez, and Xavier Franch
• Abstract要約: ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。 このようなモデルを訓練するために必要な計算は、大きな炭素フットプリントを必要とする。 本研究では, DLモデルアーキテクチャと環境影響との関係を, エネルギー消費の観点から検討した。
• 参考スコア（独自算出の注目度）: 11.325530936177493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evaluation of Deep Learning models has traditionally focused on criteria such as accuracy, F1 score, and related measures. The increasing availability of high computational power environments allows the creation of deeper and more complex models. However, the computations needed to train such models entail a large carbon footprint. In this work, we study the relations between DL model architectures and their environmental impact in terms of energy consumed and CO$_2$ emissions produced during training by means of an empirical study using Deep Convolutional Neural Networks. Concretely, we study: (i) the impact of the architecture and the location where the computations are hosted on the energy consumption and emissions produced; (ii) the trade-off between accuracy and energy efficiency; and (iii) the difference on the method of measurement of the energy consumed using software-based and hardware-based tools.
• Abstract（参考訳）: ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。 高計算能力環境の可用性が高まると、より深くより複雑なモデルが作成できる。 しかし、そのようなモデルのトレーニングに必要な計算は、大きな炭素フットプリントを必要とする。 本研究では, 深い畳み込みニューラルネットワークを用いた実験実験により, 学習中に発生するエネルギー消費とco$_2$排出の観点で, dlモデルアーキテクチャと環境影響の関係について検討した。 具体的には、 (i) 建築及び計算が生産されるエネルギー消費量及び排出量に与える影響 二 正確性とエネルギー効率のトレードオフ (iii)ソフトウェア・ハードウェア・ツールを用いた消費エネルギーの測定方法の違い

関連論文リスト

• Impact of ML Optimization Tactics on Greener Pre-Trained ML Models [46.78148962732881]
  本研究の目的は,画像分類データセットと事前学習モデルの解析,最適化モデルと非最適化モデルを比較して推論効率を向上させること,最適化の経済的影響を評価することである。 画像分類におけるPyTorch最適化手法(動的量子化、トーチ・コンパイル、局所プルーニング、グローバルプルーニング)と42のHugging Faceモデルの影響を評価するための制御実験を行った。 動的量子化は推論時間とエネルギー消費の大幅な削減を示し、大規模システムに非常に適している。
  論文  参考訳（メタデータ） (2024-09-19T16:23:03Z)
• From Computation to Consumption: Exploring the Compute-Energy Link for Training and Testing Neural Networks for SED Systems [9.658615045493734]
  本稿では,音事象検出システムの主要なコンポーネントであるニューラルネットワークアーキテクチャについて検討する。 我々は,小規模から大規模アーキテクチャの訓練および試験におけるエネルギー消費量を測定した。 我々は,エネルギー消費,浮動小数点演算数,パラメータ数,GPU/メモリ利用率の複雑な関係を確立する。
  論文  参考訳（メタデータ） (2024-09-08T12:51:34Z)
• ssProp: Energy-Efficient Training for Convolutional Neural Networks with Scheduled Sparse Back Propagation [4.77407121905745]
  バックプロパゲーション(BP)は、ディープラーニングモデルをトレーニングする際の計算コストの主要な源泉である。 ディープラーニングアーキテクチャにシームレスに統合できる汎用的でエネルギー効率の良い畳み込みモジュールを提案する。
  論文  参考訳（メタデータ） (2024-08-22T17:22:59Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Do DL models and training environments have an impact on energy consumption? [9.373015995433589]
  本研究の目的は,グリーンなコンピュータビジョンモデルのトレーニングにおいて,モデルアーキテクチャとトレーニング環境が与える影響を分析することである。 適切なモデルアーキテクチャとトレーニング環境を選択することで、エネルギー消費を劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-07-07T12:07:59Z)
• Minimizing Energy Consumption of Deep Learning Models by Energy-Aware Training [26.438415753870917]
  モデル学習におけるエネルギー消費の削減を目的とした勾配に基づくアルゴリズムであるEATを提案する。 エネルギーを考慮したトレーニングアルゴリズムであるEATは、分類性能とエネルギー効率のトレードオフを良くしてネットワークをトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2023-07-01T15:44:01Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning [68.37641996188133]
  我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。 エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。 炭素排出量削減とエネルギー消費削減のための戦略を提案する。
  論文  参考訳（メタデータ） (2020-01-31T05:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。