論文の概要: AI Greenferencing: Routing AI Inferencing to Green Modular Data Centers with Heron
- arxiv url: http://arxiv.org/abs/2505.09989v1
- Date: Thu, 15 May 2025 06:03:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-16 22:29:06.198405
- Title: AI Greenferencing: Routing AI Inferencing to Green Modular Data Centers with Heron
- Title（参考訳）: AI Greenference:Heronを使ったグリーンモジュールデータセンターへのAI推論のルーティング
- Authors: Tella Rajashekhar Reddy, Palak, Rohan Gandhi, Anjaly Parayil, Chaojie Zhang, Mike Shepperd, Liangcheng Yu, Jayashree Mohan, Srinivasan Iyengar, Shivkumar Kalyanaraman, Debopam Bhattacherjee,
- Abstract要約: 本稿では、風力発電所で共同配置されたモジュール型計算クラスタにAIワークロードを組み込むことを論じる。
私たちは、風力発電の相補性を効果的に活用できるクロスサイトソフトウェアルータHeronを開発しました。
We show how Heron improves aggregate goodput of AI compute than the state-of-the-art。
- 参考スコア（独自算出の注目度）: 3.847328366489219
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI power demand is growing unprecedentedly thanks to the high power density of AI compute and the emerging inferencing workload. On the supply side, abundant wind power is waiting for grid access in interconnection queues. In this light, this paper argues bringing AI workload to modular compute clusters co-located in wind farms. Our deployment right-sizing strategy makes it economically viable to deploy more than 6 million high-end GPUs today that could consume cheap, green power at its source. We built Heron, a cross-site software router, that could efficiently leverage the complementarity of power generation across wind farms by routing AI inferencing workload around power drops. Using 1-week ofcoding and conversation production traces from Azure and (real) variable wind power traces, we show how Heron improves aggregate goodput of AI compute by up to 80% compared to the state-of-the-art.
- Abstract（参考訳）: AIの電力需要は、AIコンピューティングの高電力密度と、新たな推論ワークロードのおかげで、前例のないほど増大している。
供給側では、豊富な風力発電が相互接続待ち行列のグリッドアクセスを待っています。
この光の中で、風力発電所と共同で配置されたモジュール型計算クラスタにAIワークロードを組み込むことを論じる。
当社のデプロイメントの適切なサイズ戦略は、現在600万以上のハイエンドGPUをデプロイし、そのソースで安価でグリーンな電力を消費する経済的な実現を可能にしています。
Heronはクロスサイトなソフトウェアルータで、風力発電所全体の電力の相補性を効率よく活用できる。
1週間のコーディングと、Azureと(実際の)可変風力トレースからの会話生成トレースを使用して、Heronが最先端のAI計算に比べて最大80%改善したことを示す。
関連論文リスト
- Generative AI for Autonomous Driving: Frontiers and Opportunities [145.6465312554513]
この調査は、自律運転スタックにおけるGenAIの役割の包括的合成を提供する。
まず、VAE、GAN、拡散モデル、および大規模言語モデルを含む、現代の生成モデリングの原則とトレードオフを蒸留することから始めます。
我々は、合成データ一般化、エンドツーエンド駆動戦略、高忠実なデジタルツインシステム、スマートトランスポートネットワーク、具体化されたAIへのクロスドメイン転送など、実用的な応用を分類する。
論文 参考訳（メタデータ） (2025-05-13T17:59:20Z) - Toward Cross-Layer Energy Optimizations in AI Systems [4.871463967255196]
エネルギー効率は、人工知能の採用に歯止めをかける要因になる可能性が高い。
人工知能(AI)や機械学習(ML)ツールや技術の普及によって、そのエネルギー効率が採用への歯止め要因になりそうである。
これは、生成AI(GenAI)モデルが巨大なエネルギー豚であるからである。
推論はさらにエネルギーを消費する。
論文 参考訳（メタデータ） (2024-04-10T01:35:17Z) - Green Edge AI: A Contemporary Survey [46.11332733210337]
AIの変換力は、ディープニューラルネットワーク(DNN)の利用から導かれる。
ディープラーニング(DL)は、エンドユーザーデバイス(EUD)に近い無線エッジネットワークに移行しつつある。
その可能性にもかかわらず、エッジAIは大きな課題に直面している。主な原因は、無線エッジネットワークのリソース制限と、DLのリソース集約的な性質の分離である。
論文 参考訳（メタデータ） (2023-12-01T04:04:37Z) - On the Opportunities of Green Computing: A Survey [80.21955522431168]
人工知能(AI)は数十年にわたり、技術と研究において大きな進歩を遂げてきた。
高いコンピューティングパワーの必要性は、より高い二酸化炭素排出量をもたらし、研究の公正性を損なう。
コンピューティングリソースの課題とAIの環境への影響に取り組むため、グリーンコンピューティングはホットな研究トピックとなっている。
論文 参考訳（メタデータ） (2023-11-01T11:16:41Z) - Landing AI on Networks: An equipment vendor viewpoint on Autonomous
Driving Networks [13.157685146274002]
AI技術によって駆動される自律運転ネットワーク(ADN)の課題と機会について論じる。
AIが現在のネットワークと将来のネットワークにどのように着地できるかを理解するために、ネットワークドメインに特有の課題の概要から始めます。
次に、システムビューを示し、AIがネットワークアーキテクチャにどのように適合できるかを明確にする。
論文 参考訳（メタデータ） (2022-04-26T16:51:00Z) - Connecting AI Learning and Blockchain Mining in 6G Systems [12.768959539372633]
6Gシステムは一般に、ユビキタス人工知能(AI)とブロックチェーンなどの分散台帳上に構築されることが認識されています。
本稿では,AIトレーニングに広く存在する行列計算を,ブロックマイニングにおけるブルートフォース探索のプロセスに統合できるEvolved-Proof-Workコンセンサスを提案する。
実験の結果、E-PoWは6Gシステムにおける並列AIトレーニングのために、純粋なブロックマイニングから最大80%のコンピューティングパワーを節約できることがわかった。
論文 参考訳（メタデータ） (2021-04-29T03:19:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。