論文の概要: Uncovering Energy-Efficient Practices in Deep Learning Training: Preliminary Steps Towards Green AI

• arxiv url: http://arxiv.org/abs/2303.13972v1
• Date: Fri, 24 Mar 2023 12:48:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 14:28:39.855780
• Title: Uncovering Energy-Efficient Practices in Deep Learning Training: Preliminary Steps Towards Green AI
• Title（参考訳）: 深層学習におけるエネルギー効率の高い実践の解明--グリーンaiに向けた予備的ステップ
• Authors: Tim Yarally, Lu\'is Cruz, Daniel Feitosa, June Sallou, Arie van Deursen
• Abstract要約: 我々は、エネルギー消費を精度に等しい重要性の指標とみなし、無関係なタスクやエネルギー使用量を減らす。 持続可能性の観点から深層学習パイプラインの訓練段階について検討する。 ディープラーニングモデルをトレーニングするための革新的で有望なエネルギー効率のプラクティスを強調します。
• 参考スコア（独自算出の注目度）: 8.025202812165412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern AI practices all strive towards the same goal: better results. In the context of deep learning, the term "results" often refers to the achieved accuracy on a competitive problem set. In this paper, we adopt an idea from the emerging field of Green AI to consider energy consumption as a metric of equal importance to accuracy and to reduce any irrelevant tasks or energy usage. We examine the training stage of the deep learning pipeline from a sustainability perspective, through the study of hyperparameter tuning strategies and the model complexity, two factors vastly impacting the overall pipeline's energy consumption. First, we investigate the effectiveness of grid search, random search and Bayesian optimisation during hyperparameter tuning, and we find that Bayesian optimisation significantly dominates the other strategies. Furthermore, we analyse the architecture of convolutional neural networks with the energy consumption of three prominent layer types: convolutional, linear and ReLU layers. The results show that convolutional layers are the most computationally expensive by a strong margin. Additionally, we observe diminishing returns in accuracy for more energy-hungry models. The overall energy consumption of training can be halved by reducing the network complexity. In conclusion, we highlight innovative and promising energy-efficient practices for training deep learning models. To expand the application of Green AI, we advocate for a shift in the design of deep learning models, by considering the trade-off between energy efficiency and accuracy.
• Abstract（参考訳）: 現代のAIプラクティスは、すべて同じ目標(より良い結果)に向かっています。 ディープラーニングの文脈では、"results"という用語は、しばしば競合問題集合における達成された正確さを指す。 本稿では,グリーンAIの新興分野からのアイデアを,エネルギー消費を精度に等しい重要性の指標として捉え,無関係なタスクやエネルギー使用量を減らすために採用する。 本研究では,パイプライン全体のエネルギー消費に大きな影響を与える2つの要因であるハイパーパラメータチューニング戦略とモデル複雑性の研究を通じて,持続可能性の観点からディープラーニングパイプラインのトレーニング段階について検討する。 まず,ハイパーパラメータチューニングにおけるグリッド探索,ランダム探索,ベイズ最適化の有効性について検討し,ベイズ最適化が他の戦略を大きく支配することを示す。 さらに,畳み込みニューラルネットワークのアーキテクチャを,畳み込み層,線形層,relu層という3つの著名な層をエネルギー消費として分析した。 その結果,畳み込み層は高いマージンで計算コストが最も高いことがわかった。 さらに,エネルギー空調モデルに対する精度の低下を観察する。 トレーニングの全体的なエネルギー消費量は、ネットワークの複雑さを減らすことで半減できる。 結論として,ディープラーニングモデルのトレーニングにおける革新的かつ有望なエネルギ効率のプラクティスを強調する。 グリーンAIの適用を拡大するために,エネルギー効率と精度のトレードオフを考慮し,ディープラーニングモデルの設計の転換を提唱する。

関連論文リスト

• How green is continual learning, really? Analyzing the energy consumption in continual training of vision foundation models [10.192658261639549]
  本研究では,連続学習アルゴリズムのエネルギー効率を体系的に理解することを目的とする。 CIFAR-100, ImageNet-R, DomainNetの3つの標準データセットで実験を行った。 本稿では,エネルギー・正確性トレードオフの観点からアルゴリズムの効率を計測する新しい指標であるEnergy NetScoreを提案する。
  論文  参考訳（メタデータ） (2024-09-27T11:50:10Z)
• ssProp: Energy-Efficient Training for Convolutional Neural Networks with Scheduled Sparse Back Propagation [4.77407121905745]
  バックプロパゲーション(BP)は、ディープラーニングモデルをトレーニングする際の計算コストの主要な源泉である。 ディープラーニングアーキテクチャにシームレスに統合できる汎用的でエネルギー効率の良い畳み込みモジュールを提案する。
  論文  参考訳（メタデータ） (2024-08-22T17:22:59Z)
• Watt For What: Rethinking Deep Learning's Energy-Performance Relationship [13.505163099299025]
  深層学習モデルのモデル精度と消費電力のトレードオフについて検討する。 使用電力単位当たりの精度を評価することにより、より小型でエネルギー効率の高いモデルが研究を著しく高速化できることを示す。 この研究は、より公平な研究環境に寄与し、より小さなエンティティはより大きなエンティティと効果的に競合できる。
  論文  参考訳（メタデータ） (2023-10-10T11:08:31Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Minimizing Energy Consumption of Deep Learning Models by Energy-Aware Training [26.438415753870917]
  モデル学習におけるエネルギー消費の削減を目的とした勾配に基づくアルゴリズムであるEATを提案する。 エネルギーを考慮したトレーニングアルゴリズムであるEATは、分類性能とエネルギー効率のトレードオフを良くしてネットワークをトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2023-07-01T15:44:01Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• Energy Consumption of Neural Networks on NVIDIA Edge Boards: an Empirical Model [6.809944967863927]
  近年、レイテンシの低減とデータプライバシの保護のために、ディープラーニング推論タスクの実行を、ユーザに近いネットワークのエッジにシフトする傾向があります。 本研究では,現代のエッジノードにおける推論タスクのエネルギ消費をプロファイリングすることを目的とする。 そこで我々は, 検討ボード上である推論タスクのエネルギー消費を推定できる, 単純で実用的なモデルを構築した。
  論文  参考訳（メタデータ） (2022-10-04T14:12:59Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
  コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。 継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
  論文  参考訳（メタデータ） (2021-09-12T09:40:18Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。