論文の概要: The Hidden Cost of Thinking: Energy Use and Environmental Impact of LMs Beyond Pretraining

• arxiv url: http://arxiv.org/abs/2605.01158v1
• Date: Fri, 01 May 2026 23:24:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.614401
• Title: The Hidden Cost of Thinking: Energy Use and Environmental Impact of LMs Beyond Pretraining
• Title（参考訳）: 省エネと環境影響
• Authors: Jacob Morrison, Noah A. Smith, Emma Strubell,
• Abstract要約: Olmo 3は70億と32億のパラメータモデルからなるファミリーである。 モデル開発プロセスでは,12.3GWhのデータセンターエネルギーを消費し,4,251tCO2eqを放出し,15,887kLの水を消費した。
• 参考スコア（独自算出の注目度）: 59.27959962602072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language model development extends far beyond pretraining, yet environmental reporting remains narrowly focused on the cost of training a single final model. In this work, we provide the first detailed breakdown of the environmental impact of a full model development pipeline, from pretraining through supervised fine-tuning, preference optimization, and reinforcement learning, for Olmo 3, a family of 7 billion and 32 billion parameter models in both instruction-following and reasoning variants. We find that reasoning models are 17x more expensive to post-train than their instruction-tuned counterparts in terms of datacenter energy, driven by reinforcement learning rollout generation. Development costs (including experimentation, failed runs, and ablations) account for 82.2% of total compute, a roughly 65% increase over the ~50% reported for pretraining-focused pipelines in prior work. In total, we estimate our model development process consumed ~12.3 GWh of datacenter energy, emitted 4,251 tCO2eq, and consumed 15,887 kL of water, with water consumption driven entirely by power generation infrastructure rather than data center cooling. These costs, which are almost entirely unreported by model developers, are growing rapidly as post-training pipelines become more complex, and must be accounted for in environmental reporting standards and by the research community working to reduce AI's environmental impact.
• Abstract（参考訳）: 現代の言語モデル開発は、事前訓練をはるかに超えているが、環境報告は、単一の最終モデルの訓練コストに焦点を絞っている。 本研究は,Olmo 3において,教師付き微調整,選好最適化,強化学習といった,フルモデル開発パイプラインの環境影響について,インストラクションフォローと推論の両バリエーションにおいて,70億および32億のパラメータモデルを持つファミリーに対して,初めて詳細に説明したものである。 推論モデルは、強化学習のロールアウト生成によって駆動されるデータセンターのエネルギの観点から、トレーニング後のトレーニングよりも17倍の費用がかかることが分かりました。 開発コスト(実験、走行失敗、アブレーションを含む)は総計算の82.2%を占めており、事前訓練のパイプラインで報告された約50%よりも約65%増加している。 総じて、我々のモデル開発プロセスはデータセンターのエネルギーを約12.3GWh消費し、4,251tCO2eqを排出し、15,887kLの水を消費した。 これらのコストは、ほとんど完全にモデル開発者によって報告されていないが、ポストトレーニングパイプラインがより複雑になるにつれて急速に増加しており、環境報告標準やAIの環境への影響を減らす研究コミュニティが考慮しなければならない。

関連論文リスト

• Towards Green AI: Decoding the Energy of LLM Inference in Software Development [46.879983975894135]
  AI支援ツールはソフトウェア開発にますます統合されているが、大きな言語モデル(LLM)に依存しているため、相当な計算とエネルギーコストが伴う。 モデルが入力を処理して内部表現を構築した(1)プリフィルと,(2)デコードで格納された状態を用いて出力トークンを生成する(2)プリフィルとを区別し,LCM推定エネルギー消費の位相レベル解析を行う。
  論文  参考訳（メタデータ） (2026-02-05T14:38:19Z)
• How Hungry is AI? Benchmarking Energy, Water, and Carbon Footprint of LLM Inference [0.0]
  本稿では,商用データセンタにデプロイされる30の最先端モデルを対象とした,AI推論の環境フットプリントを定量化する,新たなインフラストラクチャ対応ベンチマークフレームワークを提案する。 以上の結果から,O3とDeepSeek-R1が最もエネルギー集約的なモデルとして出現し,GPT-4.1ナノの70倍以上のGPT-4.1ナノを消費し,Claude-3.7 Sonnetはエコ効率で最高であることがわかった。 AIは安価で速くなっているが、そのグローバルな採用はリソース消費を不均等にしている。
  論文  参考訳（メタデータ） (2025-05-14T17:47:00Z)
• Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs [96.68469559192846]
  2つの異なる大きさのMoE大言語モデル(LLM)を提示する。 Ling-Liteは168億のパラメータと275億のアクティベートパラメータを持ち、Ling-Plusは2900億のパラメータと288億のアクティベートパラメータを持っている。 本稿では,(1)モデルアーキテクチャとトレーニングプロセスの最適化,(2)トレーニング異常処理の洗練,(3)モデル評価効率の向上のための革新的な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-07T04:43:39Z)
• Holistically Evaluating the Environmental Impact of Creating Language Models [26.846990296567267]
  我々は、2000万から13億のアクティブパラメータから、最大5.6兆のトークンで訓練された一連の言語モデルを開発することで、現実世界の環境への影響を推定する。 私たちの一連のモデルでは、米国の約98世帯に1年間電力を供給するのと同等の493トンの二酸化炭素を放出しています。 また、トレーニングを通じての電力使用量は一貫性がなく、ハードウェアの最大消費電力の15%から85%の間で変動していることもわかりました。
  論文  参考訳（メタデータ） (2025-03-03T22:16:15Z)
• Low Emission Building Control with Zero-Shot Reinforcement Learning [70.70479436076238]
  強化学習(RL)による制御は、建築エネルギー効率を著しく向上させることが示されている。 我々は、ゼロショットビルディング制御と呼ばれるパラダイムを優先せずに、排出削減ポリシーを得られることを示す。
  論文  参考訳（メタデータ） (2022-08-12T17:13:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。