論文の概要: Distributed LLM Pretraining During Renewable Curtailment Windows: A Feasibility Study

• arxiv url: http://arxiv.org/abs/2602.22760v1
• Date: Thu, 26 Feb 2026 08:49:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.605858
• Title: Distributed LLM Pretraining During Renewable Curtailment Windows: A Feasibility Study
• Title（参考訳）: 更新可能なWindowsにおける分散LLM事前学習の可能性
• Authors: Philipp Wiesner, Soeren Becker, Brett Cornick, Dominik Scheinert, Alexander Acker, Odej Kao,
• Abstract要約: 大規模言語モデル(LLM)の訓練には、かなりの計算量とエネルギーが必要である。 トレーニングを窓ガラスに合わせると、LLMはクリーンで安価な電気を使って事前訓練することができる。 予備的な結果から, 削減対応型スケジューリングはトレーニング品質を保ちつつ, 単サイトベースラインの5-12%に削減できることが示唆された。
• 参考スコア（独自算出の注目度）: 37.48697583212599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large language models (LLMs) requires substantial compute and energy. At the same time, renewable energy sources regularly produce more electricity than the grid can absorb, leading to curtailment, the deliberate reduction of clean generation that would otherwise go to waste. These periods represent an opportunity: if training is aligned with curtailment windows, LLMs can be pretrained using electricity that is both clean and cheap. This technical report presents a system that performs full-parameter LLM training across geo-distributed GPU clusters during regional curtailment windows, elastically switching between local single-site training and federated multi-site synchronization as sites become available or unavailable. Our prototype trains a 561M-parameter transformer model across three clusters using the Flower federated learning framework, with curtailment periods derived from real-world marginal carbon intensity traces. Preliminary results show that curtailment-aware scheduling preserves training quality while reducing operational emissions to 5-12% of single-site baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)の訓練には、かなりの計算量とエネルギーが必要である。 同時に、再生可能エネルギー源は、グリッドが吸収できる電力よりも定期的に多くの電力を生産し、それ以外は無駄になるクリーンな発電の故意の削減に繋がる。 これらの期間は機会であり、もしトレーニングが削減窓と整列しているなら、LLMはクリーンで安価な電気を使って事前訓練することができる。 本技術報告では,地理的に分散したGPUクラスタを対象とした全パラメータLDMトレーニングを行い,ローカルな単一サイトトレーニングとフェデレートされた複数サイト同期を弾性的に切り替えるシステムを提案する。 プロトタイプでは,フラワーフェデレーション学習フレームワークを用いて3つのクラスタに561Mパラメータートランスフォーマーモデルをトレーニングした。 予備的な結果から, 削減対応型スケジューリングはトレーニング品質を保ちつつ, 単サイトベースラインの5-12%に削減できることが示唆された。

関連論文リスト

• Environment-Aware Transfer Reinforcement Learning for Sustainable Beam Selection [3.2023814100005894]
  本稿では、転送学習と強化学習(RL)を用いて、5Gおよびネットワークを越えたビーム選択を改善するための新しい持続的アプローチを提案する。 本稿では,gNodeBs(gNBs)とその周辺散乱体の位置を表す点雲として環境をモデル化することを提案する。 点雲間のチャンファー距離を計算することにより、構造的に類似した環境を効率的に同定し、転送学習による事前学習モデルの再利用を可能にする。
  論文  参考訳（メタデータ） (2025-11-10T08:50:05Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• Energy-Efficient Split Learning for Fine-Tuning Large Language Models in Edge Networks [15.727573358801695]
  大規模言語モデルを微調整するためのエネルギー効率の高い分割学習フレームワークを提案する。 提案手法は,ベンチマークと比較すると,平均トレーニング遅延とサーバのエネルギー消費を70.8%,53.1%削減する。
  論文  参考訳（メタデータ） (2024-11-27T12:34:45Z)
• TinyML NLP Scheme for Semantic Wireless Sentiment Classification with Privacy Preservation [49.801175302937246]
  本研究は、エッジデバイスにプライバシ保護、エネルギー効率の高いNLPモデルをデプロイする際の洞察を提供する。 セマンティックスプリットラーニング(SL)を,エネルギー効率,プライバシ保護,小型機械学習(TinyML)フレームワークとして導入する。 その結果,FLの4倍,CLの約18倍の再現誤差の増加により,SLは計算能力とCO2排出量を著しく低減し,プライバシーの向上を図った。
  論文  参考訳（メタデータ） (2024-11-09T21:26:59Z)
• FedZero: Leveraging Renewable Excess Energy in Federated Learning [4.741052304881078]
  Federated Learning(FL)は、データ共有なしでデータサイロやエッジデバイス間での分散モデルトレーニングを可能にする、新興の機械学習技術である。 FLのカーボンフットプリントを減らす1つのアイデアは、再生可能エネルギーの有効性に基づいてトレーニングジョブをスケジュールすることである。 本稿では,再生可能エネルギーと計算インフラの予備容量のみで動作するFLシステムであるFedZeroを提案する。
  論文  参考訳（メタデータ） (2023-05-24T12:17:30Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• Branch-Train-Merge: Embarrassingly Parallel Training of Expert Language Models [106.65127123304842]
  Branch-Train-Merge (BTM) は、大規模言語モデル(LLM)の並列トレーニングのための効率的なアルゴリズムである。 BTMは独立した専門家のLM(ELM)の集合を学習し、それぞれ異なるテキストドメインに特化している。 実験により、BTMはGPTスタイルのトランスフォーマーLMと比較して、ドメイン内および外部のパープレクティビティを改善することが示された。
  論文  参考訳（メタデータ） (2022-08-05T17:46:38Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。