論文の概要: Towards Sustainable Large Language Model Serving

• arxiv url: http://arxiv.org/abs/2501.01990v1
• Date: Tue, 31 Dec 2024 03:18:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:05:48.241952
• Title: Towards Sustainable Large Language Model Serving
• Title（参考訳）: 持続可能な大規模言語モデルの実現に向けて
• Authors: Sophia Nguyen, Beihao Zhou, Yi Ding, Sihang Liu,
• Abstract要約: 我々は, LLMを炭素排出量の観点から検討し, 運転と実施の両方の排出に対処する。 2つのNvidia GPUタイプを用いて,LLaMAの性能とエネルギーを1B,3B,7Bパラメータで特徴付ける。 我々は,3つのグリッド領域からのエネルギー消費と炭素強度に基づいて,運転中の炭素排出量を解析的にモデル化した。
• 参考スコア（独自算出の注目度）: 3.085867867565808
• License:
• Abstract: In this work, we study LLMs from a carbon emission perspective, addressing both operational and embodied emissions, and paving the way for sustainable LLM serving. We characterize the performance and energy of LLaMA with 1B, 3B, and 7B parameters using two Nvidia GPU types, a latest-generation RTX6000 Ada and an older-generation T4. We analytically model operational carbon emissions based on energy consumption and carbon intensities from three grid regions -- each representing a different energy source mix, and embodied carbon emissions based on chip area and memory size. Our characterization and modeling provide us with an in-depth understanding of the performance, energy, and carbon emissions of LLM serving. Our findings highlight the potential for optimizing sustainable LLM serving systems by considering both operational and embodied carbon emissions simultaneously.
• Abstract（参考訳）: 本研究は, LLMを炭素排出量の観点から検討し, 運転および実施両方の排出に対処し, 持続可能なLCMサービスを実現するための道を開くものである。 1B、3B、7Bパラメータを持つLLaMAの性能とエネルギーを2種類のNvidia GPUタイプ、最新のRTX6000 Adaと古い世代のT4を用いて特徴付ける。 我々は,3つのグリッド領域のエネルギー消費と炭素強度に基づいて,運転中の炭素排出量を解析的にモデル化した。 評価とモデル化により, LLM サービスの性能, エネルギー, 炭素排出量の詳細な理解が得られた。 本研究は, 環境負荷と環境負荷の両面を同時に考慮し, 持続可能なLCMサービスシステムの最適化の可能性を明らかにするものである。

関連論文リスト

• CEGI: Measuring the trade-off between efficiency and carbon emissions for SLMs and VLMs [0.0]
  本稿では,Small Language Models(SLM)とVision Language Models(VLM)の性能解析を行う。 モデル性能と二酸化炭素排出量のトレードオフを定量化するために,CEGI(Carbon Efficient Gain Index)と呼ばれる新しい指標を導入する。 以上の結果から,大規模モデルによる精度の限界向上は,二酸化炭素排出量の大幅な増加を正当化するものではないことが示唆された。
  論文  参考訳（メタデータ） (2024-12-03T17:32:47Z)
• Carbon Footprint Accounting Driven by Large Language Models and Retrieval-augmented Generation [3.428260237038657]
  従来のライフサイクルアセスメント手法は人間の専門知識に大きく依存しており、ほぼリアルタイムのアップデートを困難にしている。 本稿では,大規模言語モデル(LLM)と検索拡張生成技術を統合し,炭素フットプリント情報検索と分析のリアルタイム,専門的,経済的な側面を強化する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-19T06:05:24Z)
• DynamoLLM: Designing LLM Inference Clusters for Performance and Energy Efficiency [7.073435885680335]
  そこで我々はDynamoLLMを提案する。DynamoLLMは、生成型大規模言語モデルのための最初のエネルギー管理フレームワークである。 サービスレベルでは、DynamoLLMは53%のエネルギーと38%の運転二酸化炭素を節約し、顧客へのコストを61%削減する。
  論文  参考訳（メタデータ） (2024-08-01T17:40:45Z)
• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• Towards Greener LLMs: Bringing Energy-Efficiency to the Forefront of LLM Inference [6.68507515624183]
  大規模な言語モデルを提供するためのデータセンター拡張の最大の課題として、エネルギーの可用性が最前線に現れている。 入力,モデル,サービスレベルの合意によっては,LLM推論プロバイダがエネルギー効率を高めるために利用できるノブがいくつか存在することを示す。
  論文  参考訳（メタデータ） (2024-03-29T17:22:48Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• Low Emission Building Control with Zero-Shot Reinforcement Learning [70.70479436076238]
  強化学習(RL)による制御は、建築エネルギー効率を著しく向上させることが示されている。 我々は、ゼロショットビルディング制御と呼ばれるパラダイムを優先せずに、排出削減ポリシーを得られることを示す。
  論文  参考訳（メタデータ） (2022-08-12T17:13:25Z)
• Mitigating Out-of-Distribution Data Density Overestimation in Energy-Based Models [54.06799491319278]
  深部エネルギーベースモデル(EBM)は、複雑な分布を学習する能力によって注目されている。 EBMの訓練には、Langevin Monte Carlo (LMC) を用いた最大推定(MLE)を用いることが多い。 短周期LCCのMLEが, 誤った密度推定でEMMに収束する理由を考察する。
  論文  参考訳（メタデータ） (2022-05-30T02:49:17Z)
• Learning Latent Space Energy-Based Prior Model [118.86447805707094]
  我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。 学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
  論文  参考訳（メタデータ） (2020-06-15T08:11:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。