論文の概要: Precise Energy Consumption Measurements of Heterogeneous Artificial Intelligence Workloads

• arxiv url: http://arxiv.org/abs/2212.01698v1
• Date: Sat, 3 Dec 2022 21:40:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 18:18:08.387480
• Title: Precise Energy Consumption Measurements of Heterogeneous Artificial Intelligence Workloads
• Title（参考訳）: 不均一人工知能ワークロードの高精度エネルギー消費測定
• Authors: Ren\'e Caspart, Sebastian Ziegler, Arvid Weyrauch, Holger Obermaier, Simon Raffeiner, Leon Pascal Schuhmacher, Jan Scholtyssek, Darya Trofimova, Marco Nolden, Ines Reinartz, Fabian Isensee, Markus G\"otz, Charlotte Debus
• Abstract要約: 本稿では,異なるタイプの計算ノード上でのディープラーニングモデルの典型的な2つの応用のエネルギー消費の測定を行う。 我々のアプローチの1つの利点は、スーパーコンピュータの全ユーザーがエネルギー消費に関する情報を利用できることである。
• 参考スコア（独自算出の注目度）: 0.534434568021034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rise of AI in recent years and the increase in complexity of the models, the growing demand in computational resources is starting to pose a significant challenge. The need for higher compute power is being met with increasingly more potent accelerators and the use of large compute clusters. However, the gain in prediction accuracy from large models trained on distributed and accelerated systems comes at the price of a substantial increase in energy demand, and researchers have started questioning the environmental friendliness of such AI methods at scale. Consequently, energy efficiency plays an important role for AI model developers and infrastructure operators alike. The energy consumption of AI workloads depends on the model implementation and the utilized hardware. Therefore, accurate measurements of the power draw of AI workflows on different types of compute nodes is key to algorithmic improvements and the design of future compute clusters and hardware. To this end, we present measurements of the energy consumption of two typical applications of deep learning models on different types of compute nodes. Our results indicate that 1. deriving energy consumption directly from runtime is not accurate, but the consumption of the compute node needs to be considered regarding its composition; 2. neglecting accelerator hardware on mixed nodes results in overproportional inefficiency regarding energy consumption; 3. energy consumption of model training and inference should be considered separately - while training on GPUs outperforms all other node types regarding both runtime and energy consumption, inference on CPU nodes can be comparably efficient. One advantage of our approach is that the information on energy consumption is available to all users of the supercomputer, enabling an easy transfer to other workloads alongside a raise in user-awareness of energy consumption.
• Abstract（参考訳）: 近年のAIの台頭とモデルの複雑さの増大により、計算リソースの需要の増加は大きな課題を呈し始めている。 より強力な計算能力の必要性は、ますます強力な加速器と大規模な計算クラスタの利用で満たされている。 しかし、分散および加速システムで訓練された大規模モデルによる予測精度の上昇は、エネルギー需要の大幅な増加の代償となり、研究者はそのような大規模ai手法の環境親和性に疑問を呈し始めた。 その結果、エネルギー効率はAIモデル開発者やインフラオペレーターにとって重要な役割を果たす。 AIワークロードのエネルギー消費は、モデルの実装と利用ハードウェアに依存します。 したがって、異なるタイプの計算ノード上でのAIワークフローのパワードローの正確な測定は、アルゴリズムの改善と将来の計算クラスタとハードウェアの設計の鍵となる。 そこで本研究では、異なる種類の計算ノード上での2つの典型的なディープラーニングモデルのエネルギー消費量の測定を行う。 私たちの結果は 1. 実行時から直接エネルギーを消費することは正確ではないが、その構成について計算ノードの消費を考慮する必要がある。 2. 混合ノード上での加速器ハードウェアの無視は、エネルギー消費に関する過度な非効率をもたらす。 3. モデルトレーニングと推論のエネルギー消費は別々に考慮すべきである。gpuでのトレーニングは、ランタイムとエネルギー消費の両方に関して他の全てのノードタイプを上回っているが、cpuノードでの推論は比較的に効率的である。 このアプローチの利点の1つは、エネルギー消費に関する情報がスーパーコンピュータの全ユーザーに利用可能であり、エネルギー消費のユーザ意識の向上とともに、他のワークロードへの簡単な転送を可能にすることである。

関連論文リスト

• Towards Physical Plausibility in Neuroevolution Systems [0.276240219662896]
  人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用の増加は、トレーニングや推論における消費電力を増加させている。 本研究は機械学習(ML)におけるエネルギー消費の増大問題に対処する。 電力使用量をわずかに削減しても、大幅な省エネ、ユーザ、企業、環境に恩恵をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-01-31T10:54:34Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach [48.18355658448509]
  生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。 地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。 本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-17T02:12:30Z)
• EPAM: A Predictive Energy Model for Mobile AI [6.451060076703027]
  本稿では,異なるディープニューラルネットワーク(DNN)モデルと処理源を考慮したモバイルAIアプリケーションに関する総合的研究を紹介する。 4つの処理源を用いて,全モデルのレイテンシ,エネルギー消費,メモリ使用量を測定した。 私たちの研究は、CPU、GPU、NNAPIを使用して、異なるアプリケーション(ビジョンとノンビジョン)でモバイルAIがどのように振る舞うか、といった重要な洞察を強調しています。
  論文  参考訳（メタデータ） (2023-03-02T09:11:23Z)
• Trends in Energy Estimates for Computing in AI/Machine Learning Accelerators, Supercomputers, and Compute-Intensive Applications [3.2634122554914]
  幾何スケーリング法則により駆動される異なるシステムの計算エネルギー要求について検討する。 幾何スケーリングによるエネルギー効率が低下していることを示す。 応用レベルでは、汎用AI-ML手法は計算エネルギー集約化が可能である。
  論文  参考訳（メタデータ） (2022-10-12T16:14:33Z)
• Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models [8.927248087602942]
  一般的なNLPアプリケーションのエネルギー消費を削減できる技術について検討する。 これらの手法は、訓練言語モデルや推論に使用する際のエネルギー消費を著しく減少させる可能性がある。
  論文  参考訳（メタデータ） (2022-05-19T16:03:55Z)
• Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
  コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。 継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
  論文  参考訳（メタデータ） (2021-09-12T09:40:18Z)
• Power Modeling for Effective Datacenter Planning and Compute Management [53.41102502425513]
  我々は,すべてのハードウェア構成とワークロードに適用可能な,正確でシンプルで解釈可能な統計パワーモデルの設計と検証の2つのクラスについて論じる。 提案された統計的モデリング手法は, 単純かつスケーラブルでありながら, 4つの特徴のみを用いて, 95% 以上の多様な配電ユニット (2000 以上) に対して, 5% 未満の絶対パーセンテージエラー (MAPE) で電力を予測できることを実証した。
  論文  参考訳（メタデータ） (2021-03-22T21:22:51Z)
• Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
  マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。 ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
  論文  参考訳（メタデータ） (2020-02-21T02:14:38Z)
• Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable Edge Computing Systems [87.4519172058185]
  エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。 定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。 実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
  論文  参考訳（メタデータ） (2020-02-20T04:58:07Z)
• Improving Efficiency in Neural Network Accelerator Using Operands Hamming Distance optimization [11.309076080980828]
  データパスのエネルギーは、入力オペランドを演算ユニットにストリーミングする際にビットフリップと高い相関を示す。 本稿では,加速器とネットワークの協調最適化のための学習後最適化アルゴリズムとハミング距離対応トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-13T00:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。