論文の概要: The Hidden Cost of Thinking: Energy Use and Environmental Impact of LMs Beyond Pretraining

• arxiv url: http://arxiv.org/abs/2605.01158v1
• Date: Fri, 01 May 2026 23:24:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.614401
• Title: The Hidden Cost of Thinking: Energy Use and Environmental Impact of LMs Beyond Pretraining
• Title（参考訳）: 省エネと環境影響
• Abstract要約: Olmo 3は70億と32億のパラメータモデルからなるファミリーである。 モデル開発プロセスでは,12.3GWhのデータセンターエネルギーを消費し,4,251tCO2eqを放出し,15,887kLの水を消費した。
• 参考スコア（独自算出の注目度）: 59.27959962602072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language model development extends far beyond pretraining, yet environmental reporting remains narrowly focused on the cost of training a single final model. In this work, we provide the first detailed breakdown of the environmental impact of a full model development pipeline, from pretraining through supervised fine-tuning, preference optimization, and reinforcement learning, for Olmo 3, a family of 7 billion and 32 billion parameter models in both instruction-following and reasoning variants. We find that reasoning models are 17x more expensive to post-train than their instruction-tuned counterparts in terms of datacenter energy, driven by reinforcement learning rollout generation. Development costs (including experimentation, failed runs, and ablations) account for 82.2% of total compute, a roughly 65% increase over the ~50% reported for pretraining-focused pipelines in prior work. In total, we estimate our model development process consumed ~12.3 GWh of datacenter energy, emitted 4,251 tCO2eq, and consumed 15,887 kL of water, with water consumption driven entirely by power generation infrastructure rather than data center cooling. These costs, which are almost entirely unreported by model developers, are growing rapidly as post-training pipelines become more complex, and must be accounted for in environmental reporting standards and by the research community working to reduce AI's environmental impact.
• Abstract（参考訳）: 現代の言語モデル開発は、事前訓練をはるかに超えているが、環境報告は、単一の最終モデルの訓練コストに焦点を絞っている。 本研究は,Olmo 3において,教師付き微調整,選好最適化,強化学習といった,フルモデル開発パイプラインの環境影響について,インストラクションフォローと推論の両バリエーションにおいて,70億および32億のパラメータモデルを持つファミリーに対して,初めて詳細に説明したものである。 推論モデルは、強化学習のロールアウト生成によって駆動されるデータセンターのエネルギの観点から、トレーニング後のトレーニングよりも17倍の費用がかかることが分かりました。 開発コスト(実験、走行失敗、アブレーションを含む)は総計算の82.2%を占めており、事前訓練のパイプラインで報告された約50%よりも約65%増加している。 総じて、我々のモデル開発プロセスはデータセンターのエネルギーを約12.3GWh消費し、4,251tCO2eqを排出し、15,887kLの水を消費した。 これらのコストは、ほとんど完全にモデル開発者によって報告されていないが、ポストトレーニングパイプラインがより複雑になるにつれて急速に増加しており、環境報告標準やAIの環境への影響を減らす研究コミュニティが考慮しなければならない。

関連論文リスト

• Towards Green AI: Decoding the Energy of LLM Inference in Software Development [46.879983975894135]
  AI支援ツールはソフトウェア開発にますます統合されているが、大きな言語モデル(LLM)に依存しているため、相当な計算とエネルギーコストが伴う。 モデルが入力を処理して内部表現を構築した(1)プリフィルと,(2)デコードで格納された状態を用いて出力トークンを生成する(2)プリフィルとを区別し,LCM推定エネルギー消費の位相レベル解析を行う。
  論文  参考訳（メタデータ） (2026-02-05T14:38:19Z)
• Recycling Pretrained Checkpoints: Orthogonal Growth of Mixture-of-Experts for Efficient Large Language Model Pre-Training [70.60554423630803]
  パラメータ数を拡大し,継続訓練を行うことで,事前学習したチェックポイントを再利用することを提案する。 70Bパラメータと1T以上のトレーニングトークンを持つモデルにアプローチを拡大し、スクラッチからトレーニングよりも10.66%の精度向上を実現しています。
  論文  参考訳（メタデータ） (2025-10-09T09:45:45Z)
• How Hungry is AI? Benchmarking Energy, Water, and Carbon Footprint of LLM Inference [0.0]
  本稿では,商用データセンタにデプロイされる30の最先端モデルを対象とした,AI推論の環境フットプリントを定量化する,新たなインフラストラクチャ対応ベンチマークフレームワークを提案する。 以上の結果から,O3とDeepSeek-R1が最もエネルギー集約的なモデルとして出現し,GPT-4.1ナノの70倍以上のGPT-4.1ナノを消費し,Claude-3.7 Sonnetはエコ効率で最高であることがわかった。 AIは安価で速くなっているが、そのグローバルな採用はリソース消費を不均等にしている。
  論文  参考訳（メタデータ） (2025-05-14T17:47:00Z)
• Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs [96.68469559192846]
  2つの異なる大きさのMoE大言語モデル(LLM)を提示する。 Ling-Liteは168億のパラメータと275億のアクティベートパラメータを持ち、Ling-Plusは2900億のパラメータと288億のアクティベートパラメータを持っている。 本稿では,(1)モデルアーキテクチャとトレーニングプロセスの最適化,(2)トレーニング異常処理の洗練,(3)モデル評価効率の向上のための革新的な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-07T04:43:39Z)
• Holistically Evaluating the Environmental Impact of Creating Language Models [26.846990296567267]
  我々は、2000万から13億のアクティブパラメータから、最大5.6兆のトークンで訓練された一連の言語モデルを開発することで、現実世界の環境への影響を推定する。 私たちの一連のモデルでは、米国の約98世帯に1年間電力を供給するのと同等の493トンの二酸化炭素を放出しています。 また、トレーニングを通じての電力使用量は一貫性がなく、ハードウェアの最大消費電力の15%から85%の間で変動していることもわかりました。
  論文  参考訳（メタデータ） (2025-03-03T22:16:15Z)
• Software Frugality in an Accelerating World: the Case of Continuous Integration [2.73028688816111]
  私たちは、GitHubで実装された継続的インテグレーションパイプラインのエネルギーフットプリントを、初めて大規模に分析します。 パイプラインの平均単位エネルギーコストは10Whで比較的低い。 地域Wh-to-CO2推定値に基づくCO2排出量の評価では, 平均CO2排出量は10.5kgである。
  論文  参考訳（メタデータ） (2024-10-21T09:29:50Z)
• Reporting and Analysing the Environmental Impact of Language Models on the Example of Commonsense Question Answering with External Knowledge [7.419725234099729]
  チャットGPTは大規模言語モデル(LLM)に社会的な関心を喚起した LLMは相当な計算資源を必要としており、財政的にも環境的にも訓練に非常に費用がかかる。 本研究では,外部知識でT5 LLMを注入し,質問応答タスクのモデルを微調整した。
  論文  参考訳（メタデータ） (2024-07-24T16:16:16Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• Low Emission Building Control with Zero-Shot Reinforcement Learning [70.70479436076238]
  強化学習(RL)による制御は、建築エネルギー効率を著しく向上させることが示されている。 我々は、ゼロショットビルディング制御と呼ばれるパラダイムを優先せずに、排出削減ポリシーを得られることを示す。
  論文  参考訳（メタデータ） (2022-08-12T17:13:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。