論文の概要: Energy Consumption in Parallel Neural Network Training

• arxiv url: http://arxiv.org/abs/2508.07706v1
• Date: Mon, 11 Aug 2025 07:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.990363
• Title: Energy Consumption in Parallel Neural Network Training
• Title（参考訳）: 並列ニューラルネットワークトレーニングにおけるエネルギー消費
• Authors: Philipp Huber, David Li, Juan Pedro Gutiérrez Hermosillo Muriedas, Deifilia Kieckhefen, Markus Götz, Achim Streit, Charlotte Debus,
• Abstract要約: ResNet50とFourCastNetという2つのモデルのデータ並列トレーニングの並列化について検討した。 エネルギー消費は消費資源、すなわちGPU時間とほぼ線形にスケールすることを示す。 私たちの結果は、ニューラルネットワークトレーニングをスケールアップする複雑な相互作用に光を当て、今後の発展を知らせることができます。
• 参考スコア（独自算出の注目度）: 1.609432596422649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing demand for computational resources of training neural networks leads to a concerning growth in energy consumption. While parallelization has enabled upscaling model and dataset sizes and accelerated training, its impact on energy consumption is often overlooked. To close this research gap, we conducted scaling experiments for data-parallel training of two models, ResNet50 and FourCastNet, and evaluated the impact of parallelization parameters, i.e., GPU count, global batch size, and local batch size, on predictive performance, training time, and energy consumption. We show that energy consumption scales approximately linearly with the consumed resources, i.e., GPU hours; however, the respective scaling factor differs substantially between distinct model trainings and hardware, and is systematically influenced by the number of samples and gradient updates per GPU hour. Our results shed light on the complex interplay of scaling up neural network training and can inform future developments towards more sustainable AI research.
• Abstract（参考訳）: ニューラルネットワークを訓練する際の計算資源の需要の増加は、エネルギー消費の増大に繋がる。 並列化により、アップスケーリングモデルとデータセットサイズ、トレーニングの高速化が可能になったが、エネルギー消費への影響は見過ごされがちである。 この研究ギャップを埋めるために、我々はResNet50とFourCastNetという2つのモデルのデータ並列トレーニングのスケーリング実験を行い、並列化パラメータ、すなわちGPUカウント、グローバルバッチサイズ、ローカルバッチサイズが予測性能、トレーニング時間、エネルギー消費に与える影響を評価した。 エネルギー消費は消費資源、すなわちGPU時間とほぼ直線的にスケールするが、各スケーリング要因は異なるモデルトレーニングとハードウェアで大きく異なり、GPU時間当たりのサンプル数や勾配更新によって体系的に影響を受ける。 私たちの結果は、ニューラルネットワークトレーニングをスケールアップする複雑な相互作用に光を当て、より持続可能なAI研究に向けた今後の発展を知らせることができます。

関連論文リスト

• Scaling DRL for Decision Making: A Survey on Data, Network, and Training Budget Strategies [66.83950068218033]
  スケーリング法則は、モデルのパラメータとトレーニングデータによって学習のパフォーマンスが向上することを示している。 性能向上の可能性にもかかわらず、スケーリング法則を深層強化学習に統合することは、完全には実現されていない。 本稿では,データ,ネットワーク,トレーニング予算という3次元のスケーリング戦略を体系的に分析することによって,このギャップに対処する。
  論文  参考訳（メタデータ） (2025-08-05T08:03:12Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Batching for Green AI -- An Exploratory Study on Inference [8.025202812165412]
  5つの完全学習ニューラルネットワークのエネルギー消費と応答時間に及ぼす入力の影響について検討した。 一般的にエネルギー消費は、精度よりもはるかに急激なペースで増加し、この進化の必要性に疑問が呈される。
  論文  参考訳（メタデータ） (2023-07-21T08:55:23Z)
• Minimizing Energy Consumption of Deep Learning Models by Energy-Aware Training [26.438415753870917]
  モデル学習におけるエネルギー消費の削減を目的とした勾配に基づくアルゴリズムであるEATを提案する。 エネルギーを考慮したトレーニングアルゴリズムであるEATは、分類性能とエネルギー効率のトレードオフを良くしてネットワークをトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2023-07-01T15:44:01Z)
• Energy Consumption of Neural Networks on NVIDIA Edge Boards: an Empirical Model [6.809944967863927]
  近年、レイテンシの低減とデータプライバシの保護のために、ディープラーニング推論タスクの実行を、ユーザに近いネットワークのエッジにシフトする傾向があります。 本研究では,現代のエッジノードにおける推論タスクのエネルギ消費をプロファイリングすることを目的とする。 そこで我々は, 検討ボード上である推論タスクのエネルギー消費を推定できる, 単純で実用的なモデルを構築した。
  論文  参考訳（メタデータ） (2022-10-04T14:12:59Z)
• Benchmarking Resource Usage for Efficient Distributed Deep Learning [10.869092085691687]
  さまざまなドメイン/タスクを表すディープネットワークの配列をトレーニングする3,400以上の実験を行います。 私たちは、トレーニング時間が利用可能な計算リソースとエネルギー制約とどのようにスケールするかを記述するパワーローモデルに適合します。
  論文  参考訳（メタデータ） (2022-01-28T21:24:15Z)
• Compute, Time and Energy Characterization of Encoder-Decoder Networks with Automatic Mixed Precision Training [6.761235154230549]
  モデル性能を犠牲にすることなく、混合精度トレーニングを活用することにより、トレーニング時間の大幅な改善が可能であることを示す。 ネットワークのトレーニング可能なパラメータの数は1549%増加し、4つのエンコード層を持つUNetのエネルギー使用量は63.22%増加した。
  論文  参考訳（メタデータ） (2020-08-18T17:44:24Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。