論文の概要: Sustainable Carbon-Aware and Water-Efficient LLM Scheduling in Geo-Distributed Cloud Datacenters

• arxiv url: http://arxiv.org/abs/2505.23554v1
• Date: Thu, 29 May 2025 15:31:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.941472
• Title: Sustainable Carbon-Aware and Water-Efficient LLM Scheduling in Geo-Distributed Cloud Datacenters
• Title（参考訳）: 地理的に分散したクラウドデータセンターにおける持続可能なカーボン・アウェアと水効率のLCMスケジューリング
• Authors: Hayden Moore, Sirui Qi, Ninad Hogade, Dejan Milojicic, Cullen Bash, Sudeep Pasricha,
• Abstract要約: ChatGPT、CoPilot、Geminiといった大規模言語モデル(LLM)は、様々な分野で広く採用されている。 近年の研究では, LLMの運用コストが, 年間25倍を超えることが推定されている。 我々はSLITと呼ばれる新しいフレームワークを提案し、LCMのサービス品質(時間から第一のトークン)、二酸化炭素排出量、水使用量、エネルギーコストを最適化する。
• 参考スコア（独自算出の注目度）: 2.391483506190989
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In recent years, Large Language Models (LLM) such as ChatGPT, CoPilot, and Gemini have been widely adopted in different areas. As the use of LLMs continues to grow, many efforts have focused on reducing the massive training overheads of these models. But it is the environmental impact of handling user requests to LLMs that is increasingly becoming a concern. Recent studies estimate that the costs of operating LLMs in their inference phase can exceed training costs by 25x per year. As LLMs are queried incessantly, the cumulative carbon footprint for the operational phase has been shown to far exceed the footprint during the training phase. Further, estimates indicate that 500 ml of fresh water is expended for every 20-50 requests to LLMs during inference. To address these important sustainability issues with LLMs, we propose a novel framework called SLIT to co-optimize LLM quality of service (time-to-first token), carbon emissions, water usage, and energy costs. The framework utilizes a machine learning (ML) based metaheuristic to enhance the sustainability of LLM hosting across geo-distributed cloud datacenters. Such a framework will become increasingly vital as LLMs proliferate.
• Abstract（参考訳）: 近年、ChatGPT、CoPilot、Geminiといった大規模言語モデル(LLM)が様々な分野で広く採用されている。 LLMの使用は増え続けており、これらのモデルの膨大なトレーニングオーバーヘッドを減らすことに多くの努力が注がれている。 しかし、LLMに対するユーザ要求を処理する環境への影響がますます懸念されている。 近年の研究では, LLMの運用コストが, 年間25倍を超えることが推定されている。 LLMは必要不可欠にクエリされるため、運転段階の累積炭素フットプリントはトレーニング段階のフットプリントをはるかに超えることが示されている。 さらに推定では, LLMに対する20～50回の要求毎に500mlの淡水が露光されることが示唆された。 LLMにおけるこれらの重要なサステナビリティ問題に対処するため、SLITと呼ばれる新しいフレームワークを提案し、LCMのサービス品質(タイム・ツー・ファーストトークン)、二酸化炭素排出量、水使用量、エネルギーコストを最適化する。 このフレームワークは機械学習(ML)ベースのメタヒューリスティックを使用して、地理的に分散したクラウドデータセンタにわたるLLMホスティングの持続可能性を高める。 LLMの普及に伴い、このようなフレームワークはますます重要になるでしょう。

関連論文リスト

• Large Language Model-enhanced Reinforcement Learning for Low-Altitude Economy Networking [71.83640290222928]
  Low-Altitude Economic Networking (LAENet)は、1000m以下の多様な飛行アプリケーションをサポートすることを目的としている。 複雑な意思決定、資源の制約、環境の不確実性は、LEENetの開発に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2025-05-27T11:25:42Z)
• LLM-Explorer: Towards Efficient and Affordable LLM-based Exploration for Mobile Apps [12.95765484886394]
  大規模言語モデル(LLM)は、モバイルアプリの探索を自動化する新たな機会を開いた。 探索中の多くの行動は必要とせず、またLLMの能力に偏っている可能性があるため、このような広範囲にわたるLLMの使用は必要でも有効でもないと論じる。 LLM-Explorerは,効率と可利用性に配慮した新しい探索エージェントである。
  論文  参考訳（メタデータ） (2025-05-15T05:28:35Z)
• Bridging AI and Carbon Capture: A Dataset for LLMs in Ionic Liquids and CBE Research [3.2995359570845912]
  LLM(Large Language Models)は、一般的な知識と推論タスクにおいて、例外的な性能を示す。 CBE(Chemical and Biological Engineering)のような専門的な科学分野におけるそれらの効果はいまだ研究されていない。 CBEにおけるLSMの推論をベンチマークするために設計された5,920のデータセットをキュレートした専門家をリリースする。
  論文  参考訳（メタデータ） (2025-05-11T12:32:57Z)
• LLM360 K2: Building a 65B 360-Open-Source Large Language Model from Scratch [77.02136168850532]
  我々は、LLM360 K2-65Bモデルのトレーニングについて詳述し、私たちの360度OPEN SOURCEアプローチを、プロジェクトLLM360の下で最大かつ最も強力なモデルにスケールアップした。
  論文  参考訳（メタデータ） (2025-01-13T08:26:43Z)
• LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs [11.664088080448593]
  LlamaDuo"は、サービス指向の大規模言語モデルから、より小さく、ローカルに管理可能なモデルに移行するためのパイプラインである。 当社のパイプラインは,運用上の障害や厳格なプライバシポリシ,あるいはオフライン要件の存在下でのサービス継続性の確保に不可欠です。
  論文  参考訳（メタデータ） (2024-08-24T05:03:08Z)
• A Comprehensive Survey of Contamination Detection Methods in Large Language Models [68.10605098856087]
  近年のLarge Language Models(LLM)の台頭に伴い、多くの新しい機会が生まれつつありますが、新たな課題もあります。 LLMの性能は、データへの以前の露出のために、少なくとも部分的には高性能である可能性があるため、もはや信頼性が低い可能性がある。 この制限は、NLPの分野での実際の能力向上を阻害するが、汚染を効率的に検出する方法が不足している。
  論文  参考訳（メタデータ） (2024-03-31T14:32:02Z)
• LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
  事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
  論文  参考訳（メタデータ） (2024-03-22T08:57:07Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• FATE-LLM: A Industrial Grade Federated Learning Framework for Large Language Models [18.65547577691255]
  大規模言語モデル(LLM)は近年,様々なタスクにおいて顕著なパフォーマンスを示している。 FATE-LLMは、大規模言語モデルのための産業レベルの連邦学習フレームワークである。 我々は、FedLLMの研究を促進するためにFATE-LLMのコードをリリースし、幅広い産業応用を可能にする。
  論文  参考訳（メタデータ） (2023-10-16T04:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。