論文の概要: Toward Cross-Layer Energy Optimizations in AI Systems
- arxiv url: http://arxiv.org/abs/2404.06675v2
- Date: Tue, 6 Aug 2024 03:33:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 19:02:36.763018
- Title: Toward Cross-Layer Energy Optimizations in AI Systems
- Title(参考訳): AIシステムにおけるクロス層エネルギー最適化に向けて
- Authors: Jae-Won Chung, Nishil Talati, Mosharaf Chowdhury,
- Abstract要約: エネルギー効率は、人工知能の採用に歯止めをかける要因になる可能性が高い。
人工知能(AI)や機械学習(ML)ツールや技術の普及によって、そのエネルギー効率が採用への歯止め要因になりそうである。
これは、生成AI(GenAI)モデルが巨大なエネルギー豚であるからである。
推論はさらにエネルギーを消費する。
- 参考スコア(独自算出の注目度): 4.871463967255196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The "AI for Science, Energy, and Security" report from DOE outlines a significant focus on developing and optimizing artificial intelligence workflows for a foundational impact on a broad range of DOE missions. With the pervasive usage of artificial intelligence (AI) and machine learning (ML) tools and techniques, their energy efficiency is likely to become the gating factor toward adoption. This is because generative AI (GenAI) models are massive energy hogs: for instance, training a 200-billion parameter large language model (LLM) at Amazon is estimated to have taken 11.9 GWh, which is enough to power more than a thousand average U.S. households for a year. Inference consumes even more energy, because a model trained once serve millions. Given this scale, high energy efficiency is key to addressing the power delivery problem of constructing and operating new supercomputers and datacenters specialized for AI workloads. In that regard, we outline software- and architecture-level research challenges and opportunities, setting the stage for creating cross-layer energy optimizations in AI systems.
- Abstract(参考訳): DOEの"AI for Science, Energy, and Security"レポートでは、幅広いDOEミッションに対する基礎的な影響に対して、人工知能ワークフローの開発と最適化に重点を置いている。
人工知能(AI)や機械学習(ML)ツールや技術の普及によって、そのエネルギー効率が採用への歯止め要因になりそうである。
例えば、Amazonで200ビリオンパラメータの大言語モデル(LLM)をトレーニングするには11.9GWhを要したと見積もられている。
推論はさらにエネルギーを消費する。
このスケールを考えると、AIワークロードに特化した新しいスーパーコンピュータやデータセンターの構築と運用において、高エネルギー効率が電力配信問題に対処する鍵となる。
その点に関して、ソフトウェアとアーキテクチャレベルの研究課題と機会を概説し、AIシステムにおける階層間エネルギー最適化のステージを設定します。
関連論文リスト
- Hybrid Heterogeneous Clusters Can Lower the Energy Consumption of LLM Inference Workloads [0.2389598109913753]
大規模言語モデル(LLM)の訓練と使用には大量のエネルギーが必要である。
本稿では, LLM を運用するデータセンターにおけるエネルギー消費削減の課題に対処する。
本稿では,コストベースのスケジューリングフレームワークを用いて,ハードウェアアクセラレータ間でタスクを動的に割り当てるハイブリッドデータセンターモデルを提案する。
論文 参考訳(メタデータ) (2024-04-25T11:24:08Z) - EcoMLS: A Self-Adaptation Approach for Architecting Green ML-Enabled Systems [1.0923877073891446]
ソフトウェアシステム内での省エネの可能性で認識されている自己適応技術は、マシンラーニングの実現可能なシステムにおいて、まだ広く研究されていない。
本研究は、インテリジェントランタイム適応によるMLSサステナビリティ向上の可能性を明らかにする。
論文 参考訳(メタデータ) (2024-04-17T14:12:47Z) - Using the Abstract Computer Architecture Description Language to Model
AI Hardware Accelerators [77.89070422157178]
AI統合製品の製造者は、製品のパフォーマンス要件に適合するアクセラレータを選択するという、重大な課題に直面します。
抽象コンピュータアーキテクチャ記述言語(ACADL)は、コンピュータアーキテクチャブロック図の簡潔な形式化である。
本稿では,AIハードウェアアクセラレーションのモデル化にACADLを用いること,DNNのマッピングにACADL記述を使用し,タイミングシミュレーションのセマンティクスを解説し,性能評価結果の収集を行う。
論文 参考訳(メタデータ) (2024-01-30T19:27:16Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。
この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。
これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。
本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
論文 参考訳(メタデータ) (2023-11-28T15:09:36Z) - Empowering Distributed Solutions in Renewable Energy Systems and Grid
Optimization [3.8979646385036175]
機械学習(ML)の進歩は再生可能エネルギー源の強化とグリッド管理の改善に重要な役割を果たしている。
ビッグデータとMLをスマートグリッドに組み込むことは、エネルギー効率の向上など、いくつかのメリットを提供する。
しかし、大規模なデータボリュームの処理、サイバーセキュリティの確保、専門知識の獲得といった課題に対処する必要がある。
論文 参考訳(メタデータ) (2023-10-24T02:45:16Z) - Multiagent Reinforcement Learning with an Attention Mechanism for
Improving Energy Efficiency in LoRa Networks [52.96907334080273]
ネットワーク規模が大きくなるにつれて、パケット衝突によるLoRaネットワークのエネルギー効率は急激に低下する。
マルチエージェント強化学習(MALoRa)に基づく伝送パラメータ割り当てアルゴリズムを提案する。
シミュレーションの結果,MALoRaはベースラインアルゴリズムと比較してシステムEEを著しく改善することがわかった。
論文 参考訳(メタデータ) (2023-09-16T11:37:23Z) - Energy-frugal and Interpretable AI Hardware Design using Learning
Automata [5.514795777097036]
Tsetlin Machineと呼ばれる新しい機械学習アルゴリズムが提案されている。
本稿では,エネルギーフルーガルな人工知能ハードウェア設計手法について検討する。
本研究は, 資源配分が, 頑健かつ解釈可能な学習を達成しつつ, 決定的なエネルギー削減をもたらすことを示す。
論文 参考訳(メタデータ) (2023-05-19T15:11:18Z) - Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A
Multi-Agent Reinforcement Learning Approach [48.18355658448509]
生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。
地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。
本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-17T02:12:30Z) - Trends in Energy Estimates for Computing in AI/Machine Learning
Accelerators, Supercomputers, and Compute-Intensive Applications [3.2634122554914]
幾何スケーリング法則により駆動される異なるシステムの計算エネルギー要求について検討する。
幾何スケーリングによるエネルギー効率が低下していることを示す。
応用レベルでは、汎用AI-ML手法は計算エネルギー集約化が可能である。
論文 参考訳(メタデータ) (2022-10-12T16:14:33Z) - Learning, Computing, and Trustworthiness in Intelligent IoT
Environments: Performance-Energy Tradeoffs [62.91362897985057]
Intelligent IoT Environment(iIoTe)は、半自律IoTアプリケーションを協調実行可能な異種デバイスで構成されている。
本稿では,これらの技術の現状を概観し,その機能と性能,特にリソース,レイテンシ,プライバシ,エネルギー消費のトレードオフに注目した。
論文 参考訳(メタデータ) (2021-10-04T19:41:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。