論文の概要: Dissecting the Carbon-SLO Tension in Geo-Distributed LLM Serving
- arxiv url: http://arxiv.org/abs/2610.14571v1
- Date: Sat, 10 Oct 2026 04:38:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 12:53:25.006828
- Title: Dissecting the Carbon-SLO Tension in Geo-Distributed LLM Serving
- Title（参考訳）: 地中分散LDMにおける炭素-SLO張力の分別
- Abstract要約: 大規模言語モデル(LLM)推論は、二酸化炭素排出量のシェアを増大させている。
炭素を意識したスケジューリングは、格子状炭素強度の変動を利用してこれらの排出量を減らすことができるが、LLMの遅延感受性の性質はこの設計空間を制約している。
遅延中心のジオ分散推論シミュレータを開発し、ハードウェア地上の遅延と電力測定を調整し、これらのダイナミクスを再現する。
- 参考スコア（独自算出の注目度）: 6.751507343395701
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Model (LLM) inference is driving a growing share of datacenter carbon emissions. Although carbon-aware scheduling can reduce these emissions in geo-distributed datacenters by exploiting the spatiotemporal variations in grid carbon intensity, the latency-sensitive nature of LLM serving constrains this design space. While prior studies investigate the carbon savings achievable through spatial scheduling, they oversimplify the dynamics of modern inference engines, such as queueing and continuous batching, which strongly shape inference latency. We address this issue by designing and evaluating a latency-centric, geo-distributed inference simulator, calibrated with hardware-grounded latency and power measurements, that reproduces these dynamics and enables the study of carbon savings under strict service-level objectives (SLOs). We then formulate a series of SLO- and carbon-aware schedulers of increasing sophistication, from per-request heuristics to batch-level optimization: (i) a greedy heuristic, (ii) an integer linear programming (ILP)-based scheduler jointly assigning batches of requests, (iii) an iterative ILP-based solution projecting its own assignments back into the load estimates to capture load coupling, and (iv) a facility mixed-integer linear programming (MILP) scheduler pricing the energy of batched requests collectively rather than in isolation. Across three LLMs under MLPerf SLOs and varying system loads, the MILP-based option offers the best carbon-SLO balance, reducing carbon emissions by up to 60% relative to the round-robin policy, with an average SLO violation of 3%. Our characterization further shows that savings grow with the spread of carbon intensity across datacenters and shrink as system load increases, while SLO attainment depends on how frequently schedulers receive datacenters' load updates.
- Abstract（参考訳）: 大規模言語モデル(LLM)推論は、データセンターの二酸化炭素排出量のシェアを増大させている。
炭素を意識したスケジューリングは、グリッド炭素強度の時空間変動を利用して、地理的に分散したデータセンターでのこれらの排出量を減らすことができるが、LLMの遅延感受性の性質はこの設計空間を制約している。
従来の研究では、空間的スケジューリングによって達成可能な炭素の節約について研究されていたが、待ち行列や連続バッチのような現代の推論エンジンのダイナミクスを単純化し、推論遅延を強く形作る。
我々は,これらのダイナミクスを再現し,厳密なサービスレベル目標(SLO)下での炭素節約の研究を可能にするハードウェア地上遅延と電力測定を調整した,遅延中心のジオ分散推論シミュレータの設計と評価により,この問題に対処する。
次に、要求ごとのヒューリスティックからバッチレベルの最適化に至るまで、高度化のための一連のSLOおよび炭素対応スケジューラを定式化する。
(一)欲張りのヒューリスティック。
(ii) 整数線形プログラミング(ILP)ベースのスケジューラで、リクエストのバッチを共同で割り当てる。
三 負荷結合を捉えるために、負荷推定に自身の割り当てを投射する反復型ILPベースのソリューション
(4)分散整数線形プログラミング(MILP)スケジューラで、個別ではなく一括してバッチ要求のエネルギを価格設定する。
MLPerf SLOの下での3つのLCMと様々なシステム負荷に対して、MILPベースのオプションは最高の炭素-SLOバランスを提供し、ラウンドロビンポリシーと比較して二酸化炭素排出量を最大60%削減し、平均的なSLO違反率は3%である。
SLOの達成は、スケジューラがデータセンターの負荷更新を受信する頻度に依存する。
関連論文リスト
- Toward Sustainable Distributed LLM Inference: A Systems Synthesis and Research Agenda for an Energy-, Carbon-, and Cache-Aware llm-d Control Plane [0.0]
本稿では,lm-dのような分散推論制御平面が決定点である場合,何を意味するのかという,実践的な工学的疑問を提起する。
私は、文献を繰り返しデザインパターンに分類し、それらのパターンを使って、sustainable Inference Control Plane (SICP)をllm-dのためにスケッチします。
提案した制御プレーンは、TTFT/TPOT SLOを厳しい制約として保ちながら、レイテンシ、エネルギー、炭素、キャッシュ再利用、サービスコスト、ルーティングおよびスケーリング時の品質を検討する。
論文 参考訳（メタデータ） (2026-09-03T21:56:54Z) - Carbon-aware decentralized dynamic task offloading in MIMO-MEC networks via multi-agent reinforcement learning [0.7373617024876725]
本稿では,マルチエージェントポリシー最適化に基づく炭素対応分散動的タスクオフロードフレームワークCADDTO-PPOを提案する。
このフレームワークは最低炭素強度を達成し、極端な交通負荷下では、ほぼゼロに近いオーバーフロー速度を維持する。
論文 参考訳（メタデータ） (2026-02-21T11:07:11Z) - DCcluster-Opt: Benchmarking Dynamic Multi-Objective Optimization for Geo-Distributed Data Center Workloads [14.834687262955585]
持続可能な時空間タスクスケジューリングのためのオープンソースの高忠実度シミュレーションベンチマークであるDCcluster-Optを提案する。
AIのワークロードトレース、グリッドカーボンの強度、電力市場、20のグローバルリージョンにわたる天候、クラウド送信コスト、経験的ネットワーク遅延パラメータなど、実世界のデータセットを組み合わせている。
モジュール型報酬システムは、二酸化炭素排出量、エネルギーコスト、サービスレベル合意、水利用の間のトレードオフを明示的に研究することを可能にする。
論文 参考訳（メタデータ） (2025-10-31T03:07:12Z) - Green Federated Learning via Carbon-Aware Client and Time Slot Scheduling [8.491852197957849]
大規模な機械学習モデルのトレーニングは、かなりの二酸化炭素排出量を発生させる。
本稿では,炭素を意識したクライアント選択とトレーニングスケジューリングによるフェデレート学習の排出削減について検討する。
論文 参考訳（メタデータ） (2025-09-10T20:24:26Z) - CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。
提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2025-08-15T07:49:22Z) - Hierarchical Multi-Agent Framework for Carbon-Efficient Liquid-Cooled Data Center Clusters [5.335496791443277]
本稿では,Reinforcement Learning (RL) に基づく階層型コントローラを提案するGreen-DCCについて紹介する。
本稿では,複数のデータセンターを同期的に最適化し,デジタル双生児を対象とし,炭素排出量とサステナビリティ指標に基づく様々なRL手法の性能比較を行う。
論文 参考訳（メタデータ） (2025-02-12T12:00:58Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-03T13:34:44Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-26T08:13:22Z) - Real-time high-resolution CO$_2$ geological storage prediction using
nested Fourier neural operators [58.728312684306545]
炭素捕獲貯蔵(CCS)は、地球規模の脱炭酸に不可欠な役割を担っている。
CCS展開のスケールアップには, 貯留層圧力上昇とガス配管マイグレーションの高精度かつ高精度なモデリングが必要である。
我々は,高分解能な3D CO2ストレージモデリングのための機械学習フレームワークであるNested Fourier Neural Operator (FNO)を,盆地スケールで導入した。
論文 参考訳（メタデータ） (2022-10-31T04:04:03Z) - Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。
私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
論文 参考訳（メタデータ） (2022-06-10T17:04:04Z) - Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud
System [54.588242387136376]
エッジクラウドシステムのための学習ベースのスケジューリングフレームワークkaisを紹介する。
まず,分散した要求ディスパッチに対応するために,協調型マルチエージェントアクタ-クリティックアルゴリズムを設計する。
次に,多種多様なシステムスケールと構造について,グラフニューラルネットワークを用いてシステム状態情報を埋め込む。
第3に、リクエストディスパッチとサービスオーケストレーションを調和させる2段階のスケジューリングメカニズムを採用します。
論文 参考訳（メタデータ） (2021-01-17T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。