論文の概要: LLMCarbon: Modeling the end-to-end Carbon Footprint of Large Language Models

• arxiv url: http://arxiv.org/abs/2309.14393v1
• Date: Mon, 25 Sep 2023 14:50:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 16:34:46.125281
• Title: LLMCarbon: Modeling the end-to-end Carbon Footprint of Large Language Models
• Title（参考訳）: llmcarbon: 大規模言語モデルのエンドツーエンドカーボンフットプリントのモデリング
• Authors: Ahmad Faiz, Sotaro Kaneda, Ruhan Wang, Rita Osi, Parteek Sharma, Fan Chen, Lei Jiang
• Abstract要約: TextitLLMCarbonは、高密度およびMoE言語モデルのためのエンドツーエンドのカーボンフットプリントプロジェクションモデルである。 様々な大規模言語モデルの炭素フットプリント推定精度を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 6.120339042089331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The carbon footprint associated with large language models (LLMs) is a significant concern, encompassing emissions from their training, inference, experimentation, and storage processes, including operational and embodied carbon emissions. An essential aspect is accurately estimating the carbon impact of emerging LLMs even before their training, which heavily relies on GPU usage. Existing studies have reported the carbon footprint of LLM training, but only one tool, mlco2, can predict the carbon footprint of new neural networks prior to physical training. However, mlco2 has several serious limitations. It cannot extend its estimation to dense or mixture-of-experts (MoE) LLMs, disregards critical architectural parameters, focuses solely on GPUs, and cannot model embodied carbon footprints. Addressing these gaps, we introduce \textit{LLMCarbon}, an end-to-end carbon footprint projection model designed for both dense and MoE LLMs. Compared to mlco2, LLMCarbon significantly enhances the accuracy of carbon footprint estimations for various LLMs.
• Abstract（参考訳）: 大規模言語モデル(llms)に関連するカーボンフットプリントは、その訓練、推論、実験、貯蔵プロセスから排出される二酸化炭素(運用および具体化炭素排出量を含む)を含む重要な関心事である。 重要な側面は、GPUの使用量に大きく依存するトレーニング前であっても、新興LLMのカーボンインパクトを正確に見積もることである。 既存の研究では、LLMトレーニングの炭素フットプリントが報告されているが、物理的なトレーニングの前に新しいニューラルネットワークの炭素フットプリントを予測するツールはmlco2のみである。 しかし、mlco2にはいくつかの重大な制限がある。 評価を高密度または混合専門家(MoE)のLLMに拡張することはできず、重要なアーキテクチャパラメータを無視し、GPUにのみ焦点を合わせ、具体化された炭素フットプリントをモデル化することはできない。 これらのギャップに対処するために、高密度およびMoE LLMの両方のために設計されたエンドツーエンドの炭素フットプリントプロジェクションモデルである \textit{LLMCarbon} を導入する。 mlco2と比較して、LLMCarbonは様々なLLMの炭素フットプリント推定精度を大幅に向上させる。

関連論文リスト

• LLMCO2: Advancing Accurate Carbon Footprint Prediction for LLM Inferences [7.137654106298203]
  大規模言語モデル(LLM)の炭素フットプリントの推定は、トレーニングよりも複雑である。 cooはグラフニューラルネットワーク(GNN)ベースのモデルで、LCM推論カーボンフットプリント予測の精度を大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-03T19:48:45Z)
• LACS: Learning-Augmented Algorithms for Carbon-Aware Resource Scaling with Uncertain Demand [1.423958951481749]
  本稿では,未知の作業時間(OCSU)を用いたオンラインCO_2-Awareリソーススケーリング問題について検討する。 我々は,論理的に堅牢な学習拡張アルゴリズムであるLACSを提案し,OCSUを解く。 LACSは、納期を意識した炭素に依存しない作業と比較して、炭素フットプリントの32%の削減を実現している。
  論文  参考訳（メタデータ） (2024-03-29T04:54:22Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Exploring the Carbon Footprint of Hugging Face's ML Models: A Repository Mining Study [8.409033836300761]
  この研究には、炭素排出量に関するHugging Face Hub APIに関する最初のリポジトリマイニング研究が含まれている。 本研究は,(1)MLモデル作成者がHugging Face Hub上でどのように二酸化炭素を計測し,報告するか,(2)トレーニングMLモデルの二酸化炭素排出量にどのような影響があるのか,という2つの研究課題に答えようとしている。
  論文  参考訳（メタデータ） (2023-05-18T17:52:58Z)
• Machine Guided Discovery of Novel Carbon Capture Solvents [48.7576911714538]
  機械学習は、材料開発における時間とリソースの負担を軽減するための有望な方法を提供する。 そこで我々は, 市販の酸性ガススクラップ式炭素捕捉装置に適合する新規な水性アミンを, エンドツーエンドで発見する「発見サイクル」を開発した。 予測プロセスは、材料パラメータの両方の実験に対して60%の精度を示し、外部テストセット上では1つのパラメータに対して80%の精度を示す。
  論文  参考訳（メタデータ） (2023-03-24T18:32:38Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models [0.3441021278275805]
  この指数的な傾向が続くと、機械学習(ML)は気候変動に重要な貢献をする可能性がある。 モデル開発とトレーニングのエネルギーと炭素フットプリントは,Carbontrackerなどのツールを用いたパフォーマンス指標とともに報告される。
  論文  参考訳（メタデータ） (2020-07-06T20:24:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。