論文の概要: CarbonScaling: Extending Neural Scaling Laws for Carbon Footprint in Large Language Models

• arxiv url: http://arxiv.org/abs/2508.06524v1
• Date: Sat, 02 Aug 2025 00:41:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.404603
• Title: CarbonScaling: Extending Neural Scaling Laws for Carbon Footprint in Large Language Models
• Title（参考訳）: CarbonScaling:大規模言語モデルにおけるカーボンフットプリントのニューラルネットワークスケーリング法則の拡張
• Authors: Lei Jiang, Fan Chen,
• Abstract要約: textitCarbonScalingは、ニューラルネットワークのスケーリング法則を拡張して、操作性と実施性の両方を組み込む分析フレームワークである。 その結果, 炭素と精度の関係は, 実世界の非効率性は, スケーリング係数を著しく高めていることがわかった。
• 参考スコア（独自算出の注目度）: 8.082036109277468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural scaling laws have driven the development of increasingly large language models (LLMs) by linking accuracy improvements to growth in parameter count, dataset size, and compute. However, these laws overlook the carbon emissions that scale exponentially with LLM size. This paper presents \textit{CarbonScaling}, an analytical framework that extends neural scaling laws to incorporate both operational and embodied carbon in LLM training. By integrating models for neural scaling, GPU hardware evolution, parallelism optimization, and carbon estimation, \textit{CarbonScaling} quantitatively connects model accuracy to carbon footprint. Results show that while a power-law relationship between accuracy and carbon holds, real-world inefficiencies significantly increase the scaling factor. Hardware technology scaling reduces carbon emissions for small to mid-sized models, but offers diminishing returns for extremely large LLMs due to communication overhead and underutilized GPUs. Training optimizations-especially aggressive critical batch size scaling-help alleviate this inefficiency. \textit{CarbonScaling} offers key insights for training more sustainable and carbon-efficient LLMs.
• Abstract（参考訳）: ニューラルネットワークのスケーリング法則は、パラメータ数、データセットサイズ、計算量の増加に精度の向上をリンクすることで、ますます大きな言語モデル(LLM)の開発を推進している。 しかし、これらの法則は、LLMサイズと指数関数的にスケールする炭素排出量を見落としている。 本稿では,LLMトレーニングにおいて,運転法と実施法の両方を組み込んだニューラルネットワークスケーリング法則を拡張する分析フレームワークである‘textit{CarbonScaling} を提案する。 ニューラルスケーリング、GPUハードウェアの進化、並列性最適化、炭素推定のモデルを統合することで、 \textit{CarbonScaling} はモデルの精度を炭素フットプリントに定量的に結合する。 その結果, 炭素と精度の関係は, 実世界の非効率性は, スケーリング係数を著しく高めていることがわかった。 ハードウェア技術のスケーリングは、小規模から中規模のモデルでは二酸化炭素排出量を減らすが、通信オーバーヘッドと未使用のGPUのため、非常に大きなLLMではリターンが低下する。 トレーニング最適化、特に攻撃的なクリティカルバッチサイズスケーリング-ヘルプは、この非効率性を緩和します。 \textit{CarbonScaling}は、より持続可能な炭素効率のLCMをトレーニングするための重要な洞察を提供する。

関連論文リスト

• Diffusion-Modeled Reinforcement Learning for Carbon and Risk-Aware Microgrid Optimization [48.70916202664808]
  DiffCarl(ディフカール)は、マルチマイクログリッドシステムのインテリジェントな操作のための、拡散モデルによる炭素およびリスクを考慮した強化学習アルゴリズムである。 従来のアルゴリズムと最先端のDRLソリューションを2.3-30.1%削減した。 また、炭素を意識しない変種よりも28.7%低い炭素排出量を達成し、性能の変動を減少させる。
  論文  参考訳（メタデータ） (2025-07-22T03:27:07Z)
• LLMCO2: Advancing Accurate Carbon Footprint Prediction for LLM Inferences [7.137654106298203]
  大規模言語モデル(LLM)の炭素フットプリントの推定は、トレーニングよりも複雑である。 cooはグラフニューラルネットワーク(GNN)ベースのモデルで、LCM推論カーボンフットプリント予測の精度を大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-03T19:48:45Z)
• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• LACS: Learning-Augmented Algorithms for Carbon-Aware Resource Scaling with Uncertain Demand [1.423958951481749]
  本稿では,未知の作業時間(OCSU)を用いたオンラインCO_2-Awareリソーススケーリング問題について検討する。 我々は,論理的に堅牢な学習拡張アルゴリズムであるLACSを提案し,OCSUを解く。 LACSは、納期を意識した炭素に依存しない作業と比較して、炭素フットプリントの32%の削減を実現している。
  論文  参考訳（メタデータ） (2024-03-29T04:54:22Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• LLMCarbon: Modeling the end-to-end Carbon Footprint of Large Language Models [7.132822974156601]
  大きな言語モデル(LLM)の炭素フットプリントは、トレーニング、推論、実験、貯蔵プロセスからの排出を含む重要な関心事である。 我々は、高密度およびMoE LLMの両方のために設計されたエンドツーエンドの炭素フットプリントプロジェクションモデルであるtextitcarbを紹介した。
  論文  参考訳（メタデータ） (2023-09-25T14:50:04Z)
• Real-time high-resolution CO$_2$ geological storage prediction using nested Fourier neural operators [58.728312684306545]
  炭素捕獲貯蔵(CCS)は、地球規模の脱炭酸に不可欠な役割を担っている。 CCS展開のスケールアップには, 貯留層圧力上昇とガス配管マイグレーションの高精度かつ高精度なモデリングが必要である。 我々は,高分解能な3D CO2ストレージモデリングのための機械学習フレームワークであるNested Fourier Neural Operator (FNO)を,盆地スケールで導入した。
  論文  参考訳（メタデータ） (2022-10-31T04:04:03Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation [0.0]
  本研究では, 炭素効率について検討し, トレーニングモデルによる環境影響の低減のための代替策を提案する。 本研究では,機械翻訳モデルの性能を複数の言語対で評価する。 これらのモデルの様々なコンポーネントを調べ、これらの二酸化炭素排出量を減らすために最適化できるパイプラインの側面を分析します。
  論文  参考訳（メタデータ） (2021-09-26T12:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。