論文の概要: Chasing Low-Carbon Electricity for Practical and Sustainable DNN Training

• arxiv url: http://arxiv.org/abs/2303.02508v1
• Date: Sat, 4 Mar 2023 21:33:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 19:09:23.982382
• Title: Chasing Low-Carbon Electricity for Practical and Sustainable DNN Training
• Title（参考訳）: 実用的かつ持続的なDNNトレーニングのための低炭素電気椅子
• Authors: Zhenning Yang, Luoxi Meng, Jae-Won Chung, Mosharaf Chowdhury
• Abstract要約: マイグレーションや延期を伴わずに,トレーニングの炭素フットプリントを削減できるソリューションを提案する。 具体的には、トレーニング中のリアルタイム炭素強度変化を観察し、GPUのエネルギー消費を制御する。 炭素強度のシフトに積極的に適応するために,軽量な機械学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.0441558412180365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has experienced significant growth in recent years, resulting in increased energy consumption and carbon emission from the use of GPUs for training deep neural networks (DNNs). Answering the call for sustainability, conventional solutions have attempted to move training jobs to locations or time frames with lower carbon intensity. However, moving jobs to other locations may not always be feasible due to large dataset sizes or data regulations. Moreover, postponing training can negatively impact application service quality because the DNNs backing the service are not updated in a timely fashion. In this work, we present a practical solution that reduces the carbon footprint of DNN training without migrating or postponing jobs. Specifically, our solution observes real-time carbon intensity shifts during training and controls the energy consumption of GPUs, thereby reducing carbon footprint while maintaining training performance. Furthermore, in order to proactively adapt to shifting carbon intensity, we propose a lightweight machine learning algorithm that predicts the carbon intensity of the upcoming time frame. Our solution, Chase, reduces the total carbon footprint of training ResNet-50 on ImageNet by 13.6% while only increasing training time by 2.5%.
• Abstract（参考訳）: 近年、ディープラーニングは大きな成長を遂げており、GPUによる深層ニューラルネットワーク(DNN)のトレーニングによるエネルギー消費と二酸化炭素排出量の増加につながっている。 持続可能性を求める従来の解決策は、炭素強度の低い場所や時間枠にトレーニングジョブを移動させようと試みてきた。 しかし、ジョブを他の場所に移行することは、データセットのサイズやデータ規制が大きいため、必ずしも実現可能であるとは限らない。 さらに、サービスを支援するDNNがタイムリーに更新されないため、延期トレーニングはアプリケーションサービス品質に悪影響を及ぼす可能性がある。 本研究では,DNNトレーニングの炭素フットプリントを,ジョブの移動や延期を伴わない実用的なソリューションを提案する。 具体的には、トレーニング中のリアルタイム炭素強度変化を観察し、GPUのエネルギー消費を制御し、トレーニング性能を維持しながら炭素フットプリントを削減する。 さらに,炭素強度の変化に積極的に適応するために,今後の時間枠の炭素強度を予測する軽量機械学習アルゴリズムを提案する。 私たちのソリューションであるChaseは、ImageNet上でのResNet-50のトレーニングの総炭素フットプリントを13.6%削減します。

関連論文リスト

• The Sunk Carbon Fallacy: Rethinking Carbon Footprint Metrics for Effective Carbon-Aware Scheduling [2.562727244613512]
  本研究は, 炭素会計指標を用いて, 所定のサーバ群上での炭素を意識したジョブスケジューリングと配置を評価する。 本研究では, 炭素添加コストに影響を及ぼす要因について検討した。
  論文  参考訳（メタデータ） (2024-10-19T12:23:59Z)
• LACS: Learning-Augmented Algorithms for Carbon-Aware Resource Scaling with Uncertain Demand [1.423958951481749]
  本稿では,未知の作業時間(OCSU)を用いたオンラインCO_2-Awareリソーススケーリング問題について検討する。 我々は,論理的に堅牢な学習拡張アルゴリズムであるLACSを提案し,OCSUを解く。 LACSは、納期を意識した炭素に依存しない作業と比較して、炭素フットプリントの32%の削減を実現している。
  論文  参考訳（メタデータ） (2024-03-29T04:54:22Z)
• On the Limitations of Carbon-Aware Temporal and Spatial Workload Shifting in the Cloud [0.6642611154902529]
  当社は、クラウドワークロードにおける炭素認識スケジューリングのメリットと限界を理解するために、詳細なデータ駆動分析を実施しています。 この結果から, 限られた作業量シフトは二酸化炭素排出量を減少させるが, 現実的な削減は理想とは程遠いことが示唆された。
  論文  参考訳（メタデータ） (2023-06-10T18:39:49Z)
• Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach [48.18355658448509]
  生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。 地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。 本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-17T02:12:30Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Carbon Emissions and Large Neural Network Training [19.233899715628073]
  我々は最近の大型モデルT5, Meena, GShard, Switch Transformer, GPT-3のエネルギー使用量と炭素フットプリントを算出する。 エネルギー効率とCO2排出量(CO2e)を改善するための次の機会を強調します。 MLの炭素フットプリントを減らすために、エネルギー使用量とCO2eはモデルを評価する上で重要な指標であるべきだと考えています。
  論文  参考訳（メタデータ） (2021-04-21T04:44:25Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models [0.3441021278275805]
  この指数的な傾向が続くと、機械学習(ML)は気候変動に重要な貢献をする可能性がある。 モデル開発とトレーニングのエネルギーと炭素フットプリントは,Carbontrackerなどのツールを用いたパフォーマンス指標とともに報告される。
  論文  参考訳（メタデータ） (2020-07-06T20:24:31Z)
• Optimizing carbon tax for decentralized electricity markets using an agent-based model [69.3939291118954]
  人為的気候変動の影響を避けるためには、化石燃料から低炭素技術への移行が必要である。 炭素税は、この移行を支援する効率的な方法であることが示されている。 NSGA-IIの遺伝的アルゴリズムを用いて、電力混合の平均電気価格と相対炭素強度を最小化する。
  論文  参考訳（メタデータ） (2020-05-28T06:54:43Z)
• Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning [68.37641996188133]
  我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。 エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。 炭素排出量削減とエネルギー消費削減のための戦略を提案する。
  論文  参考訳（メタデータ） (2020-01-31T05:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。