論文の概要: The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink

• arxiv url: http://arxiv.org/abs/2204.05149v1
• Date: Mon, 11 Apr 2022 14:30:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 14:55:11.188738
• Title: The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink
• Title（参考訳）: 機械学習トレーニングのカーボンフットプリントが台地に、そして薄くなる
• Authors: David Patterson, Joseph Gonzalez, Urs H\"olzle, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, and Jeff Dean
• Abstract要約: 4つのベストプラクティスは、MLトレーニングエネルギーを最大100倍、CO2排出量を最大1000倍に削減することができる。 ベストプラクティスに従うことで、全体のMLエネルギー使用量は過去3年間、Googleのトータルエネルギー使用の15%で安定した状態にあった。 ML論文には、単にモデル品質以上の競争を促進するために、排ガスを明示的に含めることを推奨する。
• 参考スコア（独自算出の注目度）: 14.427445867512366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Learning (ML) workloads have rapidly grown in importance, but raised concerns about their carbon footprint. Four best practices can reduce ML training energy by up to 100x and CO2 emissions up to 1000x. By following best practices, overall ML energy use (across research, development, and production) held steady at <15% of Google's total energy use for the past three years. If the whole ML field were to adopt best practices, total carbon emissions from training would reduce. Hence, we recommend that ML papers include emissions explicitly to foster competition on more than just model quality. Estimates of emissions in papers that omitted them have been off 100x-100,000x, so publishing emissions has the added benefit of ensuring accurate accounting. Given the importance of climate change, we must get the numbers right to make certain that we work on its biggest challenges.
• Abstract（参考訳）: 機械学習(ML)ワークロードの重要性は急速に高まっているが、カーボンフットプリントに対する懸念が高まっている。 4つのベストプラクティスは、mlトレーニングエネルギを最大100倍、co2を最大1000倍削減する。 ベストプラクティスに従うことで、MLエネルギーの使用全体(研究、開発、生産全体)は、過去3年間、Googleのトータルエネルギー使用の15%を安定的に維持した。 ML分野全体がベストプラクティスを採用するならば、トレーニングからの二酸化炭素排出量は減少するでしょう。 したがって、モデル品質以上の競争を促進するために、ml論文に明示的に排出を含むことを推奨する。 これらを省略した論文における排出量の推計は、100倍から100,000倍にずれているため、正確な会計の確保というメリットがある。 気候変動の重要性を考えると、最大の課題に取り組むためには、数字を正しく把握する必要がある。

関連論文リスト

• Reporting and Analysing the Environmental Impact of Language Models on the Example of Commonsense Question Answering with External Knowledge [7.419725234099729]
  チャットGPTは大規模言語モデル(LLM)に社会的な関心を喚起した LLMは相当な計算資源を必要としており、財政的にも環境的にも訓練に非常に費用がかかる。 本研究では,外部知識でT5 LLMを注入し,質問応答タスクのモデルを微調整した。
  論文  参考訳（メタデータ） (2024-07-24T16:16:16Z)
• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• PhAST: Physics-Aware, Scalable, and Task-specific GNNs for Accelerated Catalyst Design [102.9593507372373]
  触媒材料は産業プロセスに関わる電気化学反応において重要な役割を担っている。 機械学習は、大量のデータから材料特性を効率的にモデル化する可能性を秘めている。 本稿では,ほとんどのアーキテクチャに適用可能なタスク固有のイノベーションを提案し,計算効率と精度の両立を図っている。
  論文  参考訳（メタデータ） (2022-11-22T05:24:30Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Carbon Emissions and Large Neural Network Training [19.233899715628073]
  我々は最近の大型モデルT5, Meena, GShard, Switch Transformer, GPT-3のエネルギー使用量と炭素フットプリントを算出する。 エネルギー効率とCO2排出量(CO2e)を改善するための次の機会を強調します。 MLの炭素フットプリントを減らすために、エネルギー使用量とCO2eはモデルを評価する上で重要な指標であるべきだと考えています。
  論文  参考訳（メタデータ） (2021-04-21T04:44:25Z)
• Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models [0.3441021278275805]
  この指数的な傾向が続くと、機械学習(ML)は気候変動に重要な貢献をする可能性がある。 モデル開発とトレーニングのエネルギーと炭素フットプリントは,Carbontrackerなどのツールを用いたパフォーマンス指標とともに報告される。
  論文  参考訳（メタデータ） (2020-07-06T20:24:31Z)
• Optimizing carbon tax for decentralized electricity markets using an agent-based model [69.3939291118954]
  人為的気候変動の影響を避けるためには、化石燃料から低炭素技術への移行が必要である。 炭素税は、この移行を支援する効率的な方法であることが示されている。 NSGA-IIの遺伝的アルゴリズムを用いて、電力混合の平均電気価格と相対炭素強度を最小化する。
  論文  参考訳（メタデータ） (2020-05-28T06:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。