論文の概要: Toward Cross-Layer Energy Optimizations in Machine Learning Systems
- arxiv url: http://arxiv.org/abs/2404.06675v1
- Date: Wed, 10 Apr 2024 01:35:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 15:49:13.634562
- Title: Toward Cross-Layer Energy Optimizations in Machine Learning Systems
- Title(参考訳): 機械学習システムにおけるクロス層エネルギー最適化に向けて
- Authors: Jae-Won Chung, Mosharaf Chowdhury,
- Abstract要約: エネルギー効率のハードウェアに関する長い研究にもかかわらず、ソフトウェアはMLエネルギー最適化において重要な役割を果たすことがわかった。
これは大規模言語モデル(LLM)では特に当てはまります。
我々は、MLシステムにおけるエネルギー最適化のための層間アプローチを提唱し、そこでは、ハードウェアが、エネルギー効率の良いソフトウェアをさらに推し進めるアーキテクチャサポートを提供する。
- 参考スコア(独自算出の注目度): 5.129737031486064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The enormous energy consumption of machine learning (ML) and generative AI workloads shows no sign of waning, taking a toll on operating costs, power delivery, and environmental sustainability. Despite a long line of research on energy-efficient hardware, we found that software plays a critical role in ML energy optimization through two recent works: Zeus and Perseus. This is especially true for large language models (LLMs) because their model sizes and, therefore, energy demands are growing faster than hardware efficiency improvements. Therefore, we advocate for a cross-layer approach for energy optimizations in ML systems, where hardware provides architectural support that pushes energy-efficient software further, while software leverages and abstracts the hardware to develop techniques that bring hardware-agnostic energy-efficiency gains.
- Abstract(参考訳): 機械学習(ML)と生成AIワークロードの膨大なエネルギー消費は、運用コスト、電力供給、環境サステナビリティに対する負担を減らしている兆候を示さない。
エネルギー効率のハードウェアに関する長い研究にもかかわらず、ZeusとPerseusの2つの最近の研究を通して、MLエネルギー最適化においてソフトウェアが重要な役割を果たすことがわかった。
これは、大規模言語モデル(LLM)には特に当てはまります。
そこで我々は、機械学習システムにおけるエネルギー最適化のための層間アプローチを提案し、ハードウェアは、エネルギー効率の良いソフトウェアをさらに推進するアーキテクチャサポートを提供する一方、ソフトウェアはハードウェアを活用して抽象化し、ハードウェアに依存しないエネルギー効率の向上をもたらす技術を開発する。
関連論文リスト
- EcoMLS: A Self-Adaptation Approach for Architecting Green ML-Enabled Systems [1.0923877073891446]
ソフトウェアシステム内での省エネの可能性で認識されている自己適応技術は、マシンラーニングの実現可能なシステムにおいて、まだ広く研究されていない。
本研究は、インテリジェントランタイム適応によるMLSサステナビリティ向上の可能性を明らかにする。
論文 参考訳(メタデータ) (2024-04-17T14:12:47Z) - Using the Abstract Computer Architecture Description Language to Model
AI Hardware Accelerators [77.89070422157178]
AI統合製品の製造者は、製品のパフォーマンス要件に適合するアクセラレータを選択するという、重大な課題に直面します。
抽象コンピュータアーキテクチャ記述言語(ACADL)は、コンピュータアーキテクチャブロック図の簡潔な形式化である。
本稿では,AIハードウェアアクセラレーションのモデル化にACADLを用いること,DNNのマッピングにACADL記述を使用し,タイミングシミュレーションのセマンティクスを解説し,性能評価結果の収集を行う。
論文 参考訳(メタデータ) (2024-01-30T19:27:16Z) - A Survey on Hardware Accelerators for Large Language Models [0.0]
大規模言語モデル(LLM)は自然言語処理タスクの強力なツールとして登場した。
スケールと複雑さに関連する計算上の課題に対処する必要がある。
論文 参考訳(メタデータ) (2024-01-18T11:05:03Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - Power Hungry Processing: Watts Driving the Cost of AI Deployment? [81.05543515700154]
多目的生成AIシステムは、機械学習(ML)モデルを技術に組み込む統一的なアプローチを約束する。
この「一般性」という野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。
これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。
本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
論文 参考訳(メタデータ) (2023-11-28T15:09:36Z) - Empowering Distributed Solutions in Renewable Energy Systems and Grid
Optimization [3.8979646385036175]
機械学習(ML)の進歩は再生可能エネルギー源の強化とグリッド管理の改善に重要な役割を果たしている。
ビッグデータとMLをスマートグリッドに組み込むことは、エネルギー効率の向上など、いくつかのメリットを提供する。
しかし、大規模なデータボリュームの処理、サイバーセキュリティの確保、専門知識の獲得といった課題に対処する必要がある。
論文 参考訳(メタデータ) (2023-10-24T02:45:16Z) - Multiagent Reinforcement Learning with an Attention Mechanism for
Improving Energy Efficiency in LoRa Networks [52.96907334080273]
ネットワーク規模が大きくなるにつれて、パケット衝突によるLoRaネットワークのエネルギー効率は急激に低下する。
マルチエージェント強化学習(MALoRa)に基づく伝送パラメータ割り当てアルゴリズムを提案する。
シミュレーションの結果,MALoRaはベースラインアルゴリズムと比較してシステムEEを著しく改善することがわかった。
論文 参考訳(メタデータ) (2023-09-16T11:37:23Z) - Energy-frugal and Interpretable AI Hardware Design using Learning
Automata [5.514795777097036]
Tsetlin Machineと呼ばれる新しい機械学習アルゴリズムが提案されている。
本稿では,エネルギーフルーガルな人工知能ハードウェア設計手法について検討する。
本研究は, 資源配分が, 頑健かつ解釈可能な学習を達成しつつ, 決定的なエネルギー削減をもたらすことを示す。
論文 参考訳(メタデータ) (2023-05-19T15:11:18Z) - Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A
Multi-Agent Reinforcement Learning Approach [48.18355658448509]
生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。
地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。
本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-17T02:12:30Z) - Trends in Energy Estimates for Computing in AI/Machine Learning
Accelerators, Supercomputers, and Compute-Intensive Applications [3.2634122554914]
幾何スケーリング法則により駆動される異なるシステムの計算エネルギー要求について検討する。
幾何スケーリングによるエネルギー効率が低下していることを示す。
応用レベルでは、汎用AI-ML手法は計算エネルギー集約化が可能である。
論文 参考訳(メタデータ) (2022-10-12T16:14:33Z) - Learning, Computing, and Trustworthiness in Intelligent IoT
Environments: Performance-Energy Tradeoffs [62.91362897985057]
Intelligent IoT Environment(iIoTe)は、半自律IoTアプリケーションを協調実行可能な異種デバイスで構成されている。
本稿では,これらの技術の現状を概観し,その機能と性能,特にリソース,レイテンシ,プライバシ,エネルギー消費のトレードオフに注目した。
論文 参考訳(メタデータ) (2021-10-04T19:41:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。