論文の概要: Exploring the Carbon Footprint of Hugging Face's ML Models: A Repository Mining Study

• arxiv url: http://arxiv.org/abs/2305.11164v2
• Date: Fri, 28 Jul 2023 13:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 15:43:07.426060
• Title: Exploring the Carbon Footprint of Hugging Face's ML Models: A Repository Mining Study
• Title（参考訳）: huging faceのmlモデルの炭素フットプリントの検討--レポジトリマイニングによる研究
• Authors: Joel Casta\~no, Silverio Mart\'inez-Fern\'andez, Xavier Franch, Justus Bogner
• Abstract要約: この研究には、炭素排出量に関するHugging Face Hub APIに関する最初のリポジトリマイニング研究が含まれている。 本研究は,(1)MLモデル作成者がHugging Face Hub上でどのように二酸化炭素を計測し,報告するか,(2)トレーニングMLモデルの二酸化炭素排出量にどのような影響があるのか,という2つの研究課題に答えようとしている。
• 参考スコア（独自算出の注目度）: 12.24679647888516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of machine learning (ML) systems has exacerbated their carbon footprint due to increased capabilities and model sizes. However, there is scarce knowledge on how the carbon footprint of ML models is actually measured, reported, and evaluated. In light of this, the paper aims to analyze the measurement of the carbon footprint of 1,417 ML models and associated datasets on Hugging Face, which is the most popular repository for pretrained ML models. The goal is to provide insights and recommendations on how to report and optimize the carbon efficiency of ML models. The study includes the first repository mining study on the Hugging Face Hub API on carbon emissions. This study seeks to answer two research questions: (1) how do ML model creators measure and report carbon emissions on Hugging Face Hub?, and (2) what aspects impact the carbon emissions of training ML models? The study yielded several key findings. These include a stalled proportion of carbon emissions-reporting models, a slight decrease in reported carbon footprint on Hugging Face over the past 2 years, and a continued dominance of NLP as the main application domain. Furthermore, the study uncovers correlations between carbon emissions and various attributes such as model size, dataset size, and ML application domains. These results highlight the need for software measurements to improve energy reporting practices and promote carbon-efficient model development within the Hugging Face community. In response to this issue, two classifications are proposed: one for categorizing models based on their carbon emission reporting practices and another for their carbon efficiency. The aim of these classification proposals is to foster transparency and sustainable model development within the ML community.
• Abstract（参考訳）: 機械学習(ML)システムの台頭は、能力とモデルサイズの増加により、その炭素フットプリントを悪化させた。 しかしながら、mlモデルの炭素フットプリントが実際に測定、報告、評価される方法についての知識は乏しい。 そこで本論文は,Hugging Faceにおける1,417のMLモデルと関連するデータセットの炭素フットプリントの測定を解析することを目的としている。 目標は、MLモデルの炭素効率を報告し最適化する方法に関する洞察とレコメンデーションを提供することだ。 この研究には、炭素排出量に関するHugging Face Hub APIに関する最初のリポジトリマイニング研究が含まれている。 この研究は,(1)MLモデル作成者がHugging Face Hub上でどのように二酸化炭素排出量を測定し,報告するかという2つの研究課題に答えようとしている。 トレーニングMLモデルの二酸化炭素排出量にどのような影響があるのか? この研究はいくつかの重要な発見をもたらした。 これには、炭素排出報告モデルの停滞率、過去2年間のハグ面における報告された炭素フットプリントのわずかな減少、メインアプリケーションドメインとしてのnlpの継続的な支配などが含まれる。 さらに、この研究は、二酸化炭素排出量とモデルサイズ、データセットサイズ、MLアプリケーションドメインといった様々な属性の相関関係を明らかにする。 これらの結果は、Hugging Faceコミュニティ内のエネルギーレポートのプラクティスを改善し、炭素効率の良いモデル開発を促進するためのソフトウェア測定の必要性を強調している。 この問題への対応として, 二酸化炭素排出報告に基づくモデル分類と, 炭素効率の分類の2つの分類が提案されている。 これらの分類提案の目的は、MLコミュニティにおける透明性と持続可能なモデル開発を促進することである。

関連論文リスト

• Machine Learning for Methane Detection and Quantification from Space -- A survey [49.7996292123687]
  メタン (CH_4) は強力な温室効果ガスであり、20年間で二酸化炭素 (CO_2) の86倍の温暖化に寄与する。 この研究は、ショートウェーブ赤外線(SWIR)帯域におけるメタン点源検出センサの既存の情報を拡張する。 従来の機械学習(ML)アプローチと同様に、最先端の技術をレビューする。
  論文  参考訳（メタデータ） (2024-08-27T15:03:20Z)
• CarbonSense: A Multimodal Dataset and Baseline for Carbon Flux Modelling [9.05128569357374]
  データ駆動型カーボンフラックスモデリングのための、最初の機械学習対応データセットであるCarbonSenseを紹介する。 我々の実験は、マルチモーダルなディープラーニング技術がこの領域にもたらす可能性を示している。
  論文  参考訳（メタデータ） (2024-06-07T13:47:40Z)
• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• Green AI: Exploring Carbon Footprints, Mitigation Strategies, and Trade Offs in Large Language Model Training [9.182429523979598]
  特に炭素フットプリントが高い大言語モデルのCO2排出量について検討した。 我々は, 二酸化炭素排出削減対策を提案することによって, 責任と持続性を有するLLMの育成を議論する。
  論文  参考訳（メタデータ） (2024-04-01T15:01:45Z)
• LLMCarbon: Modeling the end-to-end Carbon Footprint of Large Language Models [7.132822974156601]
  大きな言語モデル(LLM)の炭素フットプリントは、トレーニング、推論、実験、貯蔵プロセスからの排出を含む重要な関心事である。 我々は、高密度およびMoE LLMの両方のために設計されたエンドツーエンドの炭素フットプリントプロジェクションモデルであるtextitcarbを紹介した。
  論文  参考訳（メタデータ） (2023-09-25T14:50:04Z)
• Machine Guided Discovery of Novel Carbon Capture Solvents [48.7576911714538]
  機械学習は、材料開発における時間とリソースの負担を軽減するための有望な方法を提供する。 そこで我々は, 市販の酸性ガススクラップ式炭素捕捉装置に適合する新規な水性アミンを, エンドツーエンドで発見する「発見サイクル」を開発した。 予測プロセスは、材料パラメータの両方の実験に対して60%の精度を示し、外部テストセット上では1つのパラメータに対して80%の精度を示す。
  論文  参考訳（メタデータ） (2023-03-24T18:32:38Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation [0.0]
  本研究では, 炭素効率について検討し, トレーニングモデルによる環境影響の低減のための代替策を提案する。 本研究では,機械翻訳モデルの性能を複数の言語対で評価する。 これらのモデルの様々なコンポーネントを調べ、これらの二酸化炭素排出量を減らすために最適化できるパイプラインの側面を分析します。
  論文  参考訳（メタデータ） (2021-09-26T12:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。