論文の概要: The Power of Training: How Different Neural Network Setups Influence the Energy Demand

• arxiv url: http://arxiv.org/abs/2401.01851v1
• Date: Wed, 3 Jan 2024 17:44:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 13:20:58.230016
• Title: The Power of Training: How Different Neural Network Setups Influence the Energy Demand
• Title（参考訳）: トレーニングのパワー:ニューラルネットワークのセットアップの違いがエネルギー需要に与える影響
• Authors: Daniel Gei{\ss}ler, Bo Zhou, Mengxi Liu, Sungho Suh, Paul Lukowicz
• Abstract要約: 本研究は,機械学習学習体制と学習パラダイムの変動が,対応するエネルギー消費に与える影響について検討する。 この研究の目的は、一般的なトレーニングパラメータとプロセスのエネルギー効果に対する認識を作ることである。
• 参考スコア（独自算出の注目度）: 5.929203091514244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work examines the effects of variations in machine learning training regimes and learning paradigms on the corresponding energy consumption. While increasing data availability and innovation in high-performance hardware fuels the training of sophisticated models, it also supports the fading perception of energy consumption and carbon emission. Therefore, the goal of this work is to create awareness about the energy impact of general training parameters and processes, from learning rate over batch size to knowledge transfer. Multiple setups with different hyperparameter initializations are evaluated on two different hardware configurations to obtain meaningful results. Experiments on pretraining and multitask training are conducted on top of the baseline results to determine their potential towards sustainable machine learning.
• Abstract（参考訳）: 本研究は,機械学習学習体制と学習パラダイムの変動が,対応するエネルギー消費に与える影響について検討する。 高性能ハードウェアにおけるデータ可用性とイノベーションの増大は、洗練されたモデルのトレーニングを促進する一方で、エネルギー消費と二酸化炭素排出に対する認識の薄れを支えている。 そこで本研究の目的は,バッチサイズを超える学習率から知識伝達に至るまで,一般的なトレーニングパラメータやプロセスのエネルギー的影響を意識することである。 異なるハイパーパラメータ初期化を持つ複数のセットアップを2つの異なるハードウェア構成で評価し、有意義な結果を得る。 予備訓練とマルチタスクトレーニングに関する実験は、ベースラインの結果に基づいて行われ、持続可能な機械学習への可能性を決定する。

関連論文リスト

• From Computation to Consumption: Exploring the Compute-Energy Link for Training and Testing Neural Networks for SED Systems [9.658615045493734]
  本稿では,音事象検出システムの主要なコンポーネントであるニューラルネットワークアーキテクチャについて検討する。 我々は,小規模から大規模アーキテクチャの訓練および試験におけるエネルギー消費量を測定した。 我々は,エネルギー消費,浮動小数点演算数,パラメータ数,GPU/メモリ利用率の複雑な関係を確立する。
  論文  参考訳（メタデータ） (2024-09-08T12:51:34Z)
• Revisiting DNN Training for Intermittently Powered Energy Harvesting Micro Computers [0.6721767679705013]
  本研究では,エネルギー制約環境下でのディープニューラルネットワークに適した新しいトレーニング手法を紹介し,評価する。 本稿では,デバイスアーキテクチャとエネルギー可用性の変動性の両方に適応する動的ドロップアウト手法を提案する。 予備的な結果は、この戦略が5%未満の計算量を持つ最先端技術と比較して6～22%の精度向上をもたらすことを示している。
  論文  参考訳（メタデータ） (2024-08-25T01:13:00Z)
• Learning Iterative Reasoning through Energy Diffusion [90.24765095498392]
  我々は,エネルギー拡散による反復的推論(IRED)を紹介した。 IREDは入力条件と所望の出力の間の制約を表現するためにエネルギー関数を学ぶ。 IREDは、連続空間推論、離散空間推論、計画タスクにおいて既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-17T03:36:47Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• Experts Weights Averaging: A New General Training Scheme for Vision Transformers [57.62386892571636]
  推論コストを増大させることなく性能向上を実現するビジョントランスフォーマー(ViT)のトレーニング手法を提案する。 トレーニング中、ViTのFeed-Forward Networks(FFN)を、特別に設計されたより効率的なMoEに置き換える。 トレーニング後、各MoEを専門家を平均化してFFNに変換し、モデルを推論のために元のViTに変換する。
  論文  参考訳（メタデータ） (2023-08-11T12:05:12Z)
• Minimizing Energy Consumption of Deep Learning Models by Energy-Aware Training [26.438415753870917]
  モデル学習におけるエネルギー消費の削減を目的とした勾配に基づくアルゴリズムであるEATを提案する。 エネルギーを考慮したトレーニングアルゴリズムであるEATは、分類性能とエネルギー効率のトレードオフを良くしてネットワークをトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2023-07-01T15:44:01Z)
• On Feature Diversity in Energy-based Models [98.78384185493624]
  エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
  論文  参考訳（メタデータ） (2023-06-02T12:30:42Z)
• Energy Efficiency of Training Neural Network Architectures: An Empirical Study [11.325530936177493]
  ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。 このようなモデルを訓練するために必要な計算は、大きな炭素フットプリントを必要とする。 本研究では, DLモデルアーキテクチャと環境影響との関係を, エネルギー消費の観点から検討した。
  論文  参考訳（メタデータ） (2023-02-02T09:20:54Z)
• Benchmarking Resource Usage for Efficient Distributed Deep Learning [10.869092085691687]
  さまざまなドメイン/タスクを表すディープネットワークの配列をトレーニングする3,400以上の実験を行います。 私たちは、トレーニング時間が利用可能な計算リソースとエネルギー制約とどのようにスケールするかを記述するパワーローモデルに適合します。
  論文  参考訳（メタデータ） (2022-01-28T21:24:15Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning [68.37641996188133]
  我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。 エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。 炭素排出量削減とエネルギー消費削減のための戦略を提案する。
  論文  参考訳（メタデータ） (2020-01-31T05:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。