論文の概要: Holistically Evaluating the Environmental Impact of Creating Language Models

• arxiv url: http://arxiv.org/abs/2503.05804v1
• Date: Mon, 03 Mar 2025 22:16:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-16 07:11:44.251091
• Title: Holistically Evaluating the Environmental Impact of Creating Language Models
• Title（参考訳）: 言語モデル作成による環境影響の理論的評価
• Authors: Jacob Morrison, Clara Na, Jared Fernandez, Tim Dettmers, Emma Strubell, Jesse Dodge,
• Abstract要約: 我々は、2000万から13億のアクティブパラメータから、最大5.6兆のトークンで訓練された一連の言語モデルを開発することで、現実世界の環境への影響を推定する。 私たちの一連のモデルでは、米国の約98世帯に1年間電力を供給するのと同等の493トンの二酸化炭素を放出しています。 また、トレーニングを通じての電力使用量は一貫性がなく、ハードウェアの最大消費電力の15%から85%の間で変動していることもわかりました。
• 参考スコア（独自算出の注目度）: 26.846990296567267
• License:
• Abstract: As the performance of artificial intelligence systems has dramatically increased, so too has the environmental impact of creating these systems. While many model developers release estimates of the power consumption and carbon emissions from the final training runs for their latest models, there is comparatively little transparency into the impact of model development, hardware manufacturing, and total water usage throughout. In this work, we estimate the real-world environmental impact of developing a series of language models, ranging from 20 million to 13 billion active parameters, trained on up to 5.6 trillion tokens each. When accounting for hardware manufacturing, model development, and our final training runs, we find that our series of models released 493 metric tons of carbon emissions, equivalent to powering about 98 homes in the United States for one year, and consumed 2.769 million liters of water, equivalent to about 24.5 years of water usage by a person in the United States, even though our data center is extremely water-efficient. We measure and report the environmental impact of our model development; to the best of our knowledge we are the first to do so for LLMs, and we find that model development, the impact of which is generally not disclosed by most model developers, amounted to ~50% of that of training. By looking at detailed time series data for power consumption, we also find that power usage throughout training is not consistent, fluctuating between ~15% and ~85% of our hardware's maximum power draw, with negative implications for grid-scale planning as demand continues to grow. We close with a discussion on the continued difficulty of estimating the environmental impact of AI systems, and key takeaways for model developers and the public at large.
• Abstract（参考訳）: 人工知能システムの性能が劇的に向上するにつれて、環境への影響も増している。 多くのモデル開発者は、最新のモデルのために最終トレーニングの実行から消費電力と二酸化炭素排出量の見積もりを公表するが、モデル開発、ハードウェア製造、全水利用の影響に対する透明性は比較的低い。 本研究では,2000万から13億のアクティブパラメータから,最大5.6兆個のトークンをトレーニングした一連の言語モデルの開発による実環境への影響を推定する。 ハードウェア製造、モデル開発、そして最終訓練を考慮に入れてみると、我々の一連のモデルは493トンの二酸化炭素を放出し、1年間約98軒の家庭で電力を供給し、2億6900万リットルの水を消費した。 私たちは、モデル開発が環境に与える影響を計測し、報告します。私たちの知る限り、私たちはLSMにとって最初にそうしているのです。そして、モデル開発は、ほとんどのモデル開発者が一般に公開していないもので、トレーニングの約50%に相当することが分かりました。 電力消費に関する詳細な時系列データを見ると、トレーニング全体の電力使用量は一貫性がなく、ハードウェアの最大消費電力の ~15% から ~85% の間で変動し、需要が拡大するにつれてグリッドスケールの計画に負の影響を及ぼすことが分かる。 我々は、AIシステムの環境影響を推定することの継続的な困難と、モデル開発者と一般大衆にとって重要なポイントについて、議論を締めくくった。

関連論文リスト

• Exploring the sustainable scaling of AI dilemma: A projective study of corporations' AI environmental impacts [0.0]
  企業のAIポートフォリオの環境影響を推定する手法を提案する。 その結果、大規模な生成AIモデルは従来のモデルよりも最大4600倍のエネルギーを消費していることが確認された。 2030年までにジェネレーティブAIの環境影響を緩和するには、AIバリューチェーン全体にわたる協調的な努力が必要である。
  論文  参考訳（メタデータ） (2025-01-24T08:58:49Z)
• Reporting and Analysing the Environmental Impact of Language Models on the Example of Commonsense Question Answering with External Knowledge [7.419725234099729]
  チャットGPTは大規模言語モデル(LLM)に社会的な関心を喚起した LLMは相当な計算資源を必要としており、財政的にも環境的にも訓練に非常に費用がかかる。 本研究では,外部知識でT5 LLMを注入し,質問応答タスクのモデルを微調整した。
  論文  参考訳（メタデータ） (2024-07-24T16:16:16Z)
• Green AI: Exploring Carbon Footprints, Mitigation Strategies, and Trade Offs in Large Language Model Training [9.182429523979598]
  特に炭素フットプリントが高い大言語モデルのCO2排出量について検討した。 我々は, 二酸化炭素排出削減対策を提案することによって, 責任と持続性を有するLLMの育成を議論する。
  論文  参考訳（メタデータ） (2024-04-01T15:01:45Z)
• Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM [77.17254959695218]
  ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。 我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
  論文  参考訳（メタデータ） (2023-12-14T22:04:07Z)
• Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
  生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。 この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。 これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。 本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
  論文  参考訳（メタデータ） (2023-11-28T15:09:36Z)
• Efficiency Pentathlon: A Standardized Arena for Efficiency Evaluation [82.85015548989223]
  Pentathlonは、モデル効率の総合的で現実的な評価のためのベンチマークである。 Pentathlonは、モデルライフサイクルにおける計算の大部分を占める推論に焦点を当てている。 レイテンシ、スループット、メモリオーバーヘッド、エネルギー消費など、さまざまな効率面をターゲットにしたメトリクスが組み込まれている。
  論文  参考訳（メタデータ） (2023-07-19T01:05:33Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• Legal-Tech Open Diaries: Lesson learned on how to develop and deploy light-weight models in the era of humongous Language Models [10.086015702323971]
  私たちは、現代の法律技術スタートアップのR&Dグループのステップに従い、モデル開発とデプロイメントに関する重要な洞察を示します。 我々は、契約書や規制書に適合する複数のドメイン固有の多言語LMを事前訓練することで、ゼロから始める。 5つのダウンストリームタスクからなる半公的な半私的法定ベンチマークにおいて,そのようなモデルのベンチマーク結果を示す。
  論文  参考訳（メタデータ） (2022-10-24T10:08:59Z)
• Towards Sustainable Deep Learning for Wireless Fingerprinting Localization [0.541530201129053]
  位置情報ベースのサービスは、新しい無線インフラや新しいビジネスプロセスの一部になっている。 深層学習(DL)人工知能手法は, 広範囲な屋内無線計測データに基づいて, 無線指紋認証のローカライゼーションにおいて極めてよく機能する。 複雑さが増すにつれて、これらの手法は計算的に非常に集中的になり、エネルギーは空腹になる。 そこで本研究では,室内のローカライゼーションのための新しいDLベースのアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-01-22T15:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。