論文の概要: The Power of Training: How Different Neural Network Setups Influence the
Energy Demand
- arxiv url: http://arxiv.org/abs/2401.01851v1
- Date: Wed, 3 Jan 2024 17:44:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 13:20:58.230016
- Title: The Power of Training: How Different Neural Network Setups Influence the
Energy Demand
- Title(参考訳): トレーニングのパワー:ニューラルネットワークのセットアップの違いがエネルギー需要に与える影響
- Authors: Daniel Gei{\ss}ler, Bo Zhou, Mengxi Liu, Sungho Suh, Paul Lukowicz
- Abstract要約: 本研究は,機械学習学習体制と学習パラダイムの変動が,対応するエネルギー消費に与える影響について検討する。
この研究の目的は、一般的なトレーニングパラメータとプロセスのエネルギー効果に対する認識を作ることである。
- 参考スコア(独自算出の注目度): 5.929203091514244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work examines the effects of variations in machine learning training
regimes and learning paradigms on the corresponding energy consumption. While
increasing data availability and innovation in high-performance hardware fuels
the training of sophisticated models, it also supports the fading perception of
energy consumption and carbon emission. Therefore, the goal of this work is to
create awareness about the energy impact of general training parameters and
processes, from learning rate over batch size to knowledge transfer. Multiple
setups with different hyperparameter initializations are evaluated on two
different hardware configurations to obtain meaningful results. Experiments on
pretraining and multitask training are conducted on top of the baseline results
to determine their potential towards sustainable machine learning.
- Abstract(参考訳): 本研究は,機械学習学習体制と学習パラダイムの変動が,対応するエネルギー消費に与える影響について検討する。
高性能ハードウェアにおけるデータ可用性とイノベーションの増大は、洗練されたモデルのトレーニングを促進する一方で、エネルギー消費と二酸化炭素排出に対する認識の薄れを支えている。
そこで本研究の目的は,バッチサイズを超える学習率から知識伝達に至るまで,一般的なトレーニングパラメータやプロセスのエネルギー的影響を意識することである。
異なるハイパーパラメータ初期化を持つ複数のセットアップを2つの異なるハードウェア構成で評価し、有意義な結果を得る。
予備訓練とマルチタスクトレーニングに関する実験は、ベースラインの結果に基づいて行われ、持続可能な機械学習への可能性を決定する。
関連論文リスト
- Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳(メタデータ) (2023-08-27T03:55:28Z) - Minimizing Energy Consumption of Deep Learning Models by Energy-Aware
Training [26.438415753870917]
モデル学習におけるエネルギー消費の削減を目的とした勾配に基づくアルゴリズムであるEATを提案する。
エネルギーを考慮したトレーニングアルゴリズムであるEATは、分類性能とエネルギー効率のトレードオフを良くしてネットワークをトレーニングできることを実証する。
論文 参考訳(メタデータ) (2023-07-01T15:44:01Z) - On Feature Diversity in Energy-based Models [98.78384185493624]
エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。
EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
論文 参考訳(メタデータ) (2023-06-02T12:30:42Z) - Uncovering Energy-Efficient Practices in Deep Learning Training:
Preliminary Steps Towards Green AI [8.025202812165412]
我々は、エネルギー消費を精度に等しい重要性の指標とみなし、無関係なタスクやエネルギー使用量を減らす。
持続可能性の観点から深層学習パイプラインの訓練段階について検討する。
ディープラーニングモデルをトレーニングするための革新的で有望なエネルギー効率のプラクティスを強調します。
論文 参考訳(メタデータ) (2023-03-24T12:48:21Z) - Energy Efficiency of Training Neural Network Architectures: An Empirical
Study [11.325530936177493]
ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。
このようなモデルを訓練するために必要な計算は、大きな炭素フットプリントを必要とする。
本研究では, DLモデルアーキテクチャと環境影響との関係を, エネルギー消費の観点から検討した。
論文 参考訳(メタデータ) (2023-02-02T09:20:54Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳(メタデータ) (2022-09-30T19:12:58Z) - Benchmarking Resource Usage for Efficient Distributed Deep Learning [10.869092085691687]
さまざまなドメイン/タスクを表すディープネットワークの配列をトレーニングする3,400以上の実験を行います。
私たちは、トレーニング時間が利用可能な計算リソースとエネルギー制約とどのようにスケールするかを記述するパワーローモデルに適合します。
論文 参考訳(メタデータ) (2022-01-28T21:24:15Z) - Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。
継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
論文 参考訳(メタデータ) (2021-09-12T09:40:18Z) - Multi-Stage Influence Function [97.19210942277354]
我々は、事前学習データまで遡って、微調整されたモデルから予測を追跡するための多段階影響関数スコアを開発する。
本研究は,2つのシナリオについて検討し,事前訓練した埋め込みを微調整タスクで固定または更新する。
論文 参考訳(メタデータ) (2020-07-17T16:03:11Z) - Power Consumption Variation over Activation Functions [6.396288020763144]
予測を行う際に機械学習モデルが消費するパワーは、モデルのアーキテクチャに影響される可能性がある。
本稿では,ニューラルネットワークモデル設計におけるコアファクタである,さまざまなアクティベーション関数に対する消費電力の様々な推定方法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:40:46Z) - Towards the Systematic Reporting of the Energy and Carbon Footprints of
Machine Learning [68.37641996188133]
我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。
エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。
炭素排出量削減とエネルギー消費削減のための戦略を提案する。
論文 参考訳(メタデータ) (2020-01-31T05:12:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。