論文の概要: Toward Cross-Layer Energy Optimizations in AI Systems
- arxiv url: http://arxiv.org/abs/2404.06675v2
- Date: Tue, 6 Aug 2024 03:33:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 19:02:36.763018
- Title: Toward Cross-Layer Energy Optimizations in AI Systems
- Title（参考訳）: AIシステムにおけるクロス層エネルギー最適化に向けて
- Authors: Jae-Won Chung, Nishil Talati, Mosharaf Chowdhury,
- Abstract要約: エネルギー効率は、人工知能の採用に歯止めをかける要因になる可能性が高い。
人工知能(AI)や機械学習(ML)ツールや技術の普及によって、そのエネルギー効率が採用への歯止め要因になりそうである。
これは、生成AI(GenAI)モデルが巨大なエネルギー豚であるからである。
推論はさらにエネルギーを消費する。
- 参考スコア（独自算出の注目度）: 4.871463967255196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The "AI for Science, Energy, and Security" report from DOE outlines a significant focus on developing and optimizing artificial intelligence workflows for a foundational impact on a broad range of DOE missions. With the pervasive usage of artificial intelligence (AI) and machine learning (ML) tools and techniques, their energy efficiency is likely to become the gating factor toward adoption. This is because generative AI (GenAI) models are massive energy hogs: for instance, training a 200-billion parameter large language model (LLM) at Amazon is estimated to have taken 11.9 GWh, which is enough to power more than a thousand average U.S. households for a year. Inference consumes even more energy, because a model trained once serve millions. Given this scale, high energy efficiency is key to addressing the power delivery problem of constructing and operating new supercomputers and datacenters specialized for AI workloads. In that regard, we outline software- and architecture-level research challenges and opportunities, setting the stage for creating cross-layer energy optimizations in AI systems.
- Abstract（参考訳）: DOEの"AI for Science, Energy, and Security"レポートでは、幅広いDOEミッションに対する基礎的な影響に対して、人工知能ワークフローの開発と最適化に重点を置いている。
人工知能(AI)や機械学習(ML)ツールや技術の普及によって、そのエネルギー効率が採用への歯止め要因になりそうである。
例えば、Amazonで200ビリオンパラメータの大言語モデル(LLM)をトレーニングするには11.9GWhを要したと見積もられている。
推論はさらにエネルギーを消費する。
このスケールを考えると、AIワークロードに特化した新しいスーパーコンピュータやデータセンターの構築と運用において、高エネルギー効率が電力配信問題に対処する鍵となる。
その点に関して、ソフトウェアとアーキテクチャレベルの研究課題と機会を概説し、AIシステムにおける階層間エネルギー最適化のステージを設定します。
関連論文リスト
- The Unseen AI Disruptions for Power Grids: LLM-Induced Transients [0.5749787074942511]
AIインフラストラクチャは、超低慣性、シャープなパワーサージとディップ、ピーク時のパワー比を特徴としている。
これらの目に見えない特徴は、AIを非常にユニークな負荷にし、電力グリッドの信頼性とレジリエンスに脅威をもたらす。
本稿では、AI電力消費の規模を調査し、様々なシナリオにおけるAI過渡行動を分析し、AIワークロードの振る舞いを記述するための高レベルな数学的モデルを開発し、既存の電力網にもたらす可能性のある課題と機会について論じる。
論文 参考訳（メタデータ） (2024-09-09T05:22:01Z) - Present and Future of AI in Renewable Energy Domain : A Comprehensive Survey [0.0]
人工知能(AI)は、様々な産業におけるプロセスを合理化するための重要な手段となっている。
現代の電力システムの再生可能エネルギー(RE)を支援するため、9つのAIベースの戦略がここで特定されている。
この研究は、再生可能エネルギー生成にAI技術を使用すること、再生可能エネルギー予測にAIを活用すること、エネルギーシステムの最適化という3つの主要なトピックについても論じている。
論文 参考訳（メタデータ） (2024-06-22T04:36:09Z) - Green Edge AI: A Contemporary Survey [46.11332733210337]
AIの変換力は、ディープニューラルネットワーク(DNN)の利用から導かれる。
ディープラーニング(DL)は、エンドユーザーデバイス(EUD)に近い無線エッジネットワークに移行しつつある。
その可能性にもかかわらず、エッジAIは大きな課題に直面している。主な原因は、無線エッジネットワークのリソース制限と、DLのリソース集約的な性質の分離である。
論文 参考訳（メタデータ） (2023-12-01T04:04:37Z) - Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。
この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。
これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。
本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
論文 参考訳（メタデータ） (2023-11-28T15:09:36Z) - On the Opportunities of Green Computing: A Survey [80.21955522431168]
人工知能(AI)は数十年にわたり、技術と研究において大きな進歩を遂げてきた。
高いコンピューティングパワーの必要性は、より高い二酸化炭素排出量をもたらし、研究の公正性を損なう。
コンピューティングリソースの課題とAIの環境への影響に取り組むため、グリーンコンピューティングはホットな研究トピックとなっている。
論文 参考訳（メタデータ） (2023-11-01T11:16:41Z) - AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities
and Challenges [60.56413461109281]
IT運用のための人工知能(AIOps)は、AIのパワーとIT運用プロセスが生成するビッグデータを組み合わせることを目的としている。
我々は、IT運用活動が発信する重要なデータの種類、分析における規模と課題、そしてどのように役立つかについて深く議論する。
主要なAIOpsタスクは、インシデント検出、障害予測、根本原因分析、自動アクションに分類します。
論文 参考訳（メタデータ） (2023-04-10T15:38:12Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳（メタデータ） (2023-01-08T15:02:38Z) - Trends in Energy Estimates for Computing in AI/Machine Learning
Accelerators, Supercomputers, and Compute-Intensive Applications [3.2634122554914]
幾何スケーリング法則により駆動される異なるシステムの計算エネルギー要求について検討する。
幾何スケーリングによるエネルギー効率が低下していることを示す。
応用レベルでは、汎用AI-ML手法は計算エネルギー集約化が可能である。
論文 参考訳（メタデータ） (2022-10-12T16:14:33Z) - Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。
特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
論文 参考訳（メタデータ） (2022-03-06T10:12:56Z) - The Powerful Use of AI in the Energy Sector: Intelligent Forecasting [7.747343962518897]
本稿では,エネルギー部門におけるAIシステムの開発,展開,評価を行う手法を提案する。
目標は、エネルギーユーティリティーユーザーに高い信頼性を提供することだ。
論文 参考訳（メタデータ） (2021-11-03T05:30:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。