論文の概要: The Power of Training: How Different Neural Network Setups Influence the Energy Demand
- arxiv url: http://arxiv.org/abs/2401.01851v3
- Date: Wed, 8 May 2024 07:44:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-09 18:31:11.884475
- Title: The Power of Training: How Different Neural Network Setups Influence the Energy Demand
- Title（参考訳）: トレーニングの力:ニューラルネットワークのセットアップの違いがエネルギー需要に与える影響
- Authors: Daniel Geißler, Bo Zhou, Mengxi Liu, Sungho Suh, Paul Lukowicz,
- Abstract要約: この研究は、機械学習のトレーニング体制と学習パラダイムのバリエーションがコンピューティングのエネルギー消費に与える影響、特にライフサイクルを考慮したHPCハードウェアに与える影響を評価する。
- 参考スコア（独自算出の注目度）: 5.526611783155303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work offers a heuristic evaluation of the effects of variations in machine learning training regimes and learning paradigms on the energy consumption of computing, especially HPC hardware with a life-cycle aware perspective. While increasing data availability and innovation in high-performance hardware fuels the training of sophisticated models, it also fosters the fading perception of energy consumption and carbon emission. Therefore, the goal of this work is to raise awareness about the energy impact of general training parameters and processes, from learning rate over batch size to knowledge transfer. Multiple setups with different hyperparameter configurations are evaluated on three different hardware systems. Among many results, we have found out that even with the same model and hardware to reach the same accuracy, improperly set training hyperparameters consume up to 5 times the energy of the optimal setup. We also extensively examined the energy-saving benefits of learning paradigms including recycling knowledge through pretraining and sharing knowledge through multitask training.
- Abstract（参考訳）: この研究は、機械学習のトレーニング体制と学習パラダイムのバリエーションがコンピューティングのエネルギー消費に与える影響、特にライフサイクルを意識したHPCハードウェアに与える影響のヒューリスティックな評価を提供する。
高性能ハードウェアにおけるデータ可用性とイノベーションの増大は、洗練されたモデルのトレーニングを促進する一方で、エネルギー消費と二酸化炭素排出に対する認識の薄れを助長する。
そこで本研究の目的は,バッチサイズを超える学習率から知識伝達に至るまで,一般的なトレーニングパラメータやプロセスのエネルギー的影響に対する意識を高めることである。
異なるハイパーパラメータ構成の複数のセットアップを3つの異なるハードウェアシステムで評価する。
その結果,同じモデルとハードウェアで同じ精度に到達しても,トレーニングハイパーパラメータは最適設定の5倍のエネルギーを消費することがわかった。
また,マルチタスク学習による知識の事前学習と共有を通じて,リサイクル知識を含む学習パラダイムの省エネ効果についても検討した。
関連論文リスト
- Learning Iterative Reasoning through Energy Diffusion [90.24765095498392]
我々は,エネルギー拡散による反復的推論(IRED)を紹介した。
IREDは入力条件と所望の出力の間の制約を表現するためにエネルギー関数を学ぶ。
IREDは、連続空間推論、離散空間推論、計画タスクにおいて既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-17T03:36:47Z) - Learning Lightweight Object Detectors via Multi-Teacher Progressive
Distillation [56.053397775016755]
本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。
私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
論文 参考訳（メタデータ） (2023-08-17T17:17:08Z) - Experts Weights Averaging: A New General Training Scheme for Vision
Transformers [57.62386892571636]
推論コストを増大させることなく性能向上を実現するビジョントランスフォーマー(ViT)のトレーニング手法を提案する。
トレーニング中、ViTのFeed-Forward Networks(FFN)を、特別に設計されたより効率的なMoEに置き換える。
トレーニング後、各MoEを専門家を平均化してFFNに変換し、モデルを推論のために元のViTに変換する。
論文 参考訳（メタデータ） (2023-08-11T12:05:12Z) - Minimizing Energy Consumption of Deep Learning Models by Energy-Aware
Training [26.438415753870917]
モデル学習におけるエネルギー消費の削減を目的とした勾配に基づくアルゴリズムであるEATを提案する。
エネルギーを考慮したトレーニングアルゴリズムであるEATは、分類性能とエネルギー効率のトレードオフを良くしてネットワークをトレーニングできることを実証する。
論文 参考訳（メタデータ） (2023-07-01T15:44:01Z) - On Feature Diversity in Energy-based Models [98.78384185493624]
エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。
EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
論文 参考訳（メタデータ） (2023-06-02T12:30:42Z) - Uncovering Energy-Efficient Practices in Deep Learning Training:
Preliminary Steps Towards Green AI [8.025202812165412]
我々は、エネルギー消費を精度に等しい重要性の指標とみなし、無関係なタスクやエネルギー使用量を減らす。
持続可能性の観点から深層学習パイプラインの訓練段階について検討する。
ディープラーニングモデルをトレーニングするための革新的で有望なエネルギー効率のプラクティスを強調します。
論文 参考訳（メタデータ） (2023-03-24T12:48:21Z) - Energy Efficiency of Training Neural Network Architectures: An Empirical
Study [11.325530936177493]
ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。
このようなモデルを訓練するために必要な計算は、大きな炭素フットプリントを必要とする。
本研究では, DLモデルアーキテクチャと環境影響との関係を, エネルギー消費の観点から検討した。
論文 参考訳（メタデータ） (2023-02-02T09:20:54Z) - Benchmarking Resource Usage for Efficient Distributed Deep Learning [10.869092085691687]
さまざまなドメイン/タスクを表すディープネットワークの配列をトレーニングする3,400以上の実験を行います。
私たちは、トレーニング時間が利用可能な計算リソースとエネルギー制約とどのようにスケールするかを記述するパワーローモデルに適合します。
論文 参考訳（メタデータ） (2022-01-28T21:24:15Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Towards the Systematic Reporting of the Energy and Carbon Footprints of
Machine Learning [68.37641996188133]
我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。
エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。
炭素排出量削減とエネルギー消費削減のための戦略を提案する。
論文 参考訳（メタデータ） (2020-01-31T05:12:59Z) - Resource-Efficient Neural Networks for Embedded Systems [23.532396005466627]
本稿では,機械学習技術の現状について概説する。
私たちは、過去10年で主要な機械学習モデルであるディープニューラルネットワーク(DNN)に基づく、リソース効率の高い推論に焦点を当てています。
我々は、圧縮技術を用いて、よく知られたベンチマークデータセットの実験で議論を裏付ける。
論文 参考訳（メタデータ） (2020-01-07T14:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。