論文の概要: Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model

• arxiv url: http://arxiv.org/abs/2211.02001v1
• Date: Thu, 3 Nov 2022 17:13:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 13:43:25.553180
• Title: Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model
• Title（参考訳）: 176Bパラメータ言語モデルBLOOMの炭素フットプリントの推定
• Authors: Alexandra Sasha Luccioni, Sylvain Viguier, Anne-Laure Ligozat
• Abstract要約: 176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
• 参考スコア（独自算出の注目度）: 72.65502770895417
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Progress in machine learning (ML) comes with a cost to the environment, given that training ML models requires significant computational resources, energy and materials. In the present article, we aim to quantify the carbon footprint of BLOOM, a 176-billion parameter language model, across its life cycle. We estimate that BLOOM's final training emitted approximately 24.7 tonnes of~\carboneq~if we consider only the dynamic power consumption, and 50.5 tonnes if we account for all processes ranging from equipment manufacturing to energy-based operational consumption. We also study the energy requirements and carbon emissions of its deployment for inference via an API endpoint receiving user queries in real-time. We conclude with a discussion regarding the difficulty of precisely estimating the carbon footprint of ML models and future research directions that can contribute towards improving carbon emissions reporting.
• Abstract（参考訳）: 機械学習(ML)の進歩には、機械学習モデルのトレーニングにはかなりの計算資源、エネルギー、材料が必要であるため、環境にコストがかかる。 本稿では,176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントをライフサイクル全体にわたって定量化することを目的とする。 BLOOMの最終訓練は, 機器製造からエネルギー利用までの全プロセスを考慮した場合, 動的電力消費のみを考慮した場合, 約24.7トン, 50.5トンと見積もられた。 また,ユーザクエリをリアルタイムで受信するAPIエンドポイントを通じて,そのデプロイメントのエネルギー要件と二酸化炭素排出量についても検討する。 最後に、mlモデルの炭素フットプリントを正確に推定することの難しさと、炭素排出量報告の改善に寄与する今後の研究方向について論じる。

関連論文リスト

• Machine Learning for Methane Detection and Quantification from Space -- A survey [49.7996292123687]
  メタン (CH_4) は強力な温室効果ガスであり、20年間で二酸化炭素 (CO_2) の86倍の温暖化に寄与する。 この研究は、ショートウェーブ赤外線(SWIR)帯域におけるメタン点源検出センサの既存の情報を拡張する。 従来の機械学習(ML)アプローチと同様に、最先端の技術をレビューする。
  論文  参考訳（メタデータ） (2024-08-27T15:03:20Z)
• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• LLMCarbon: Modeling the end-to-end Carbon Footprint of Large Language Models [7.132822974156601]
  大きな言語モデル(LLM)の炭素フットプリントは、トレーニング、推論、実験、貯蔵プロセスからの排出を含む重要な関心事である。 我々は、高密度およびMoE LLMの両方のために設計されたエンドツーエンドの炭素フットプリントプロジェクションモデルであるtextitcarbを紹介した。
  論文  参考訳（メタデータ） (2023-09-25T14:50:04Z)
• Exploring the Carbon Footprint of Hugging Face's ML Models: A Repository Mining Study [8.409033836300761]
  この研究には、炭素排出量に関するHugging Face Hub APIに関する最初のリポジトリマイニング研究が含まれている。 本研究は,(1)MLモデル作成者がHugging Face Hub上でどのように二酸化炭素を計測し,報告するか,(2)トレーニングMLモデルの二酸化炭素排出量にどのような影響があるのか,という2つの研究課題に答えようとしている。
  論文  参考訳（メタデータ） (2023-05-18T17:52:58Z)
• Machine Guided Discovery of Novel Carbon Capture Solvents [48.7576911714538]
  機械学習は、材料開発における時間とリソースの負担を軽減するための有望な方法を提供する。 そこで我々は, 市販の酸性ガススクラップ式炭素捕捉装置に適合する新規な水性アミンを, エンドツーエンドで発見する「発見サイクル」を開発した。 予測プロセスは、材料パラメータの両方の実験に対して60%の精度を示し、外部テストセット上では1つのパラメータに対して80%の精度を示す。
  論文  参考訳（メタデータ） (2023-03-24T18:32:38Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink [14.427445867512366]
  4つのベストプラクティスは、MLトレーニングエネルギーを最大100倍、CO2排出量を最大1000倍に削減することができる。 ベストプラクティスに従うことで、全体のMLエネルギー使用量は過去3年間、Googleのトータルエネルギー使用の15%で安定した状態にあった。 ML論文には、単にモデル品質以上の競争を促進するために、排ガスを明示的に含めることを推奨する。
  論文  参考訳（メタデータ） (2022-04-11T14:30:27Z)
• Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation [0.0]
  本研究では, 炭素効率について検討し, トレーニングモデルによる環境影響の低減のための代替策を提案する。 本研究では,機械翻訳モデルの性能を複数の言語対で評価する。 これらのモデルの様々なコンポーネントを調べ、これらの二酸化炭素排出量を減らすために最適化できるパイプラインの側面を分析します。
  論文  参考訳（メタデータ） (2021-09-26T12:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。