論文の概要: Carbon Emissions and Large Neural Network Training

• arxiv url: http://arxiv.org/abs/2104.10350v2
• Date: Thu, 22 Apr 2021 17:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-23 11:15:26.577746
• Title: Carbon Emissions and Large Neural Network Training
• Title（参考訳）: 二酸化炭素排出量と大規模ニューラルネットワークトレーニング
• Authors: David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, Jeff Dean
• Abstract要約: 我々は最近の大型モデルT5, Meena, GShard, Switch Transformer, GPT-3のエネルギー使用量と炭素フットプリントを算出する。 エネルギー効率とCO2排出量(CO2e)を改善するための次の機会を強調します。 MLの炭素フットプリントを減らすために、エネルギー使用量とCO2eはモデルを評価する上で重要な指標であるべきだと考えています。
• 参考スコア（独自算出の注目度）: 19.233899715628073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The computation demand for machine learning (ML) has grown rapidly recently, which comes with a number of costs. Estimating the energy cost helps measure its environmental impact and finding greener strategies, yet it is challenging without detailed information. We calculate the energy use and carbon footprint of several recent large models-T5, Meena, GShard, Switch Transformer, and GPT-3-and refine earlier estimates for the neural architecture search that found Evolved Transformer. We highlight the following opportunities to improve energy efficiency and CO2 equivalent emissions (CO2e): Large but sparsely activated DNNs can consume <1/10th the energy of large, dense DNNs without sacrificing accuracy despite using as many or even more parameters. Geographic location matters for ML workload scheduling since the fraction of carbon-free energy and resulting CO2e vary ~5X-10X, even within the same country and the same organization. We are now optimizing where and when large models are trained. Specific datacenter infrastructure matters, as Cloud datacenters can be ~1.4-2X more energy efficient than typical datacenters, and the ML-oriented accelerators inside them can be ~2-5X more effective than off-the-shelf systems. Remarkably, the choice of DNN, datacenter, and processor can reduce the carbon footprint up to ~100-1000X. These large factors also make retroactive estimates of energy cost difficult. To avoid miscalculations, we believe ML papers requiring large computational resources should make energy consumption and CO2e explicit when practical. We are working to be more transparent about energy use and CO2e in our future research. To help reduce the carbon footprint of ML, we believe energy usage and CO2e should be a key metric in evaluating models, and we are collaborating with MLPerf developers to include energy usage during training and inference in this industry standard benchmark.
• Abstract（参考訳）: 機械学習(ML)の計算需要は最近急速に増加しており、多くのコストが伴っている。 エネルギーコストの推定は環境への影響を測定し、よりグリーンな戦略を見つけるのに役立つが、詳細な情報なしでは困難である。 我々は,最近の大規模モデルであるt5, meena, gshard, switch transformer, gpt-3のエネルギー使用量とカーボンフットプリントを計算し,進化したトランスフォーマーを発見したニューラルネットワーク探索の初期の推定を洗練する。 エネルギー効率とCO2排出量(CO2e)を改善するための次の機会を強調する: 大きいが疎に活性化されたDNNは、多くのパラメータを使用しながら精度を犠牲にすることなく、大きくて密度の高いDNNの1/10のエネルギーを消費することができる。 MLワークロードスケジューリングの地理的な場所は、カーボンフリーエネルギーのごく一部と結果のCO2eは、同じ国と同じ組織内であっても、約5X-10Xが異なるためである。 現在、大規模モデルのトレーニングの場所と時期を最適化しています。 データセンターのインフラは、典型的なデータセンターよりも1.4～2倍エネルギー効率が良く、内部のML指向アクセラレータは、既製のシステムよりも2～5倍効率が良い。 注目すべきは、DNN、データセンター、プロセッサの選択により、カーボンフットプリントを最大100-1000Xまで削減できることだ。 これらの大きな要因は、エネルギーコストの遡及的な見積もりを困難にする。 計算ミスを回避するため,大規模な計算資源を必要とするML論文はエネルギー消費とCO2eを明確にする必要がある。 我々は、将来の研究でエネルギー利用とCO2eをより透明にするために取り組んでいます。 MLの炭素フットプリントを減らすために、私たちは、エネルギー使用量とCO2eがモデルを評価する上で重要な指標であるべきだと考えています。

関連論文リスト

• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• Photonics for Sustainable Computing [1.7396686601746498]
  フォトニック集積回路は、光トランシーバー、LIDAR、バイオセンシング、フォトニック量子コンピューティング、機械学習など、様々な用途で使われている。 本稿では,フォトニクスチップの炭素フットプリントモデルを構築し,フォトニクスベースの加速器の持続可能性について検討する。 解析の結果,光化学は高エネルギー効率で炭素フットプリントの操作性および実施性の両方を低減できることがわかった。
  論文  参考訳（メタデータ） (2024-01-10T12:37:23Z)
• Green Federated Learning [7.003870178055125]
  Federated Learning(FL)は、分散エンティティのデータを使用して集中型モデルをトレーニングする機械学習技術である。 FLは、多様なエネルギー源を持つ数億ものグローバル分散エンドユーザーデバイスを活用することができる。 提案するグリーンFLの概念は, FLパラメータを最適化し, 二酸化炭素排出量を最小化するための設計選択を行うものである。
  論文  参考訳（メタデータ） (2023-03-26T02:23:38Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• PhAST: Physics-Aware, Scalable, and Task-specific GNNs for Accelerated Catalyst Design [102.9593507372373]
  触媒材料は産業プロセスに関わる電気化学反応において重要な役割を担っている。 機械学習は、大量のデータから材料特性を効率的にモデル化する可能性を秘めている。 本稿では,ほとんどのアーキテクチャに適用可能なタスク固有のイノベーションを提案し,計算効率と精度の両立を図っている。
  論文  参考訳（メタデータ） (2022-11-22T05:24:30Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink [14.427445867512366]
  4つのベストプラクティスは、MLトレーニングエネルギーを最大100倍、CO2排出量を最大1000倍に削減することができる。 ベストプラクティスに従うことで、全体のMLエネルギー使用量は過去3年間、Googleのトータルエネルギー使用の15%で安定した状態にあった。 ML論文には、単にモデル品質以上の競争を促進するために、排ガスを明示的に含めることを推奨する。
  論文  参考訳（メタデータ） (2022-04-11T14:30:27Z)
• Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning [68.37641996188133]
  我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。 エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。 炭素排出量削減とエネルギー消費削減のための戦略を提案する。
  論文  参考訳（メタデータ） (2020-01-31T05:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。