論文の概要: Power Modeling for Effective Datacenter Planning and Compute Management
- arxiv url: http://arxiv.org/abs/2103.13308v1
- Date: Mon, 22 Mar 2021 21:22:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-25 13:48:14.187511
- Title: Power Modeling for Effective Datacenter Planning and Compute Management
- Title(参考訳): 効率的なデータセンター計画と計算管理のための電力モデリング
- Authors: Ana Radovanovic, Bokan Chen, Saurav Talukdar, Binz Roy, Alexandre
Duarte, and Mahya Shahbazi
- Abstract要約: 我々は,すべてのハードウェア構成とワークロードに適用可能な,正確でシンプルで解釈可能な統計パワーモデルの設計と検証の2つのクラスについて論じる。
提案された統計的モデリング手法は, 単純かつスケーラブルでありながら, 4つの特徴のみを用いて, 95% 以上の多様な配電ユニット (2000 以上) に対して, 5% 未満の絶対パーセンテージエラー (MAPE) で電力を予測できることを実証した。
- 参考スコア(独自算出の注目度): 53.41102502425513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Datacenter power demand has been continuously growing and is the key driver
of its cost. An accurate mapping of compute resources (CPU, RAM, etc.) and
hardware types (servers, accelerators, etc.) to power consumption has emerged
as a critical requirement for major Web and cloud service providers. With the
global growth in datacenter capacity and associated power consumption, such
models are essential for important decisions around datacenter design and
operation. In this paper, we discuss two classes of statistical power models
designed and validated to be accurate, simple, interpretable and applicable to
all hardware configurations and workloads across hyperscale datacenters of
Google fleet. To the best of our knowledge, this is the largest scale power
modeling study of this kind, in both the scope of diverse datacenter planning
and real-time management use cases, as well as the variety of hardware
configurations and workload types used for modeling and validation. We
demonstrate that the proposed statistical modeling techniques, while simple and
scalable, predict power with less than 5% Mean Absolute Percent Error (MAPE)
for more than 95% diverse Power Distribution Units (more than 2000) using only
4 features. This performance matches the reported accuracy of the previous
started-of-the-art methods, while using significantly less features and
covering a wider range of use cases.
- Abstract(参考訳): データセンターの電力需要は継続的に増加しており、そのコストの鍵となっている。
計算資源(cpu、ramなど)の正確なマッピング
ハードウェアタイプ(サーバ、アクセラレータなど)も必要です。
電力消費は、主要なWebおよびクラウドサービスプロバイダにとって重要な要件として現れています。
データセンターの容量と関連する消費電力のグローバルな増加に伴い、そのようなモデルはデータセンターの設計と運用に関する重要な決定に不可欠である。
本稿では,Google の超大規模データセンターにまたがるハードウェア構成やワークロードに対して,正確で,シンプルで,解釈可能な2種類の統計パワーモデルについて論じる。
私たちの知る限りでは、これはこの種の大規模な電力モデリング研究としては最大のもので、多様なデータセンター計画とリアルタイム管理ユースケースの範囲だけでなく、モデリングと検証に使用されるさまざまなハードウェア構成とワークロードタイプの両方においてです。
提案手法は, 単純かつスケーラブルであるが, 5%以下では絶対誤差 (mape) を予測でき, 95%以上の多様な電力分配ユニット (2000以上) では4つの機能しか利用できないことを示した。
この性能は、以前の最先端手法の報告された正確さと一致し、より少ない機能を使用し、幅広いユースケースをカバーする。
関連論文リスト
- Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。
LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
論文 参考訳(メタデータ) (2024-08-20T09:42:17Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳(メタデータ) (2023-11-03T17:29:46Z) - PyDCM: Custom Data Center Models with Reinforcement Learning for Sustainability [2.6429542504022314]
PyDCMは、Pythonで実装されたカスタマイズ可能なデータセンターモデルである。
ベクトル化熱計算を用いることで、PyDCMのオーダーは現在のEnergy Plusのモデリング実装よりも桁違いに速い(30倍)。
論文 参考訳(メタデータ) (2023-10-05T21:24:54Z) - WattScope: Non-intrusive Application-level Power Disaggregation in
Datacenters [0.6086160084025234]
WattScopeは、個々のアプリケーションの消費電力を非侵襲的に推定するシステムである。
WattScopeは、ビルドパワーを分離するための機械学習ベースのテクニックを適応し、拡張する。
論文 参考訳(メタデータ) (2023-09-22T04:13:46Z) - Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。
重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
論文 参考訳(メタデータ) (2023-09-15T16:29:27Z) - Filling time-series gaps using image techniques: Multidimensional
context autoencoder approach for building energy data imputation [0.0]
エネルギー予測と管理の構築は、ここ数十年でますます重要になっている。
エネルギーデータは、しばしば複数のソースから収集され、不完全または矛盾する可能性がある。
この研究は、PConv、畳み込みニューラルネットワーク(CNN)、および、最も広く公開されている建築エネルギーデータセットの1つを使用した週毎の永続性手法を比較した。
論文 参考訳(メタデータ) (2023-07-12T05:46:37Z) - Bringing AI to the edge: A formal M&S specification to deploy effective
IoT architectures [0.0]
モノのインターネットは私たちの社会を変え、生活の質と資源管理を改善する新しいサービスを提供しています。
これらのアプリケーションは、限られたコンピューティングリソースとパワーを持つ、複数の分散デバイスのユビキタスネットワークに基づいている。
フォグコンピューティングのような新しいアーキテクチャが登場し、コンピューティング基盤をデータソースに近づけている。
論文 参考訳(メタデータ) (2023-05-11T21:29:58Z) - On Efficient Training of Large-Scale Deep Learning Models: A Literature
Review [90.87691246153612]
ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。
大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。
計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
論文 参考訳(メタデータ) (2023-04-07T11:13:23Z) - How Much More Data Do I Need? Estimating Requirements for Downstream
Tasks [99.44608160188905]
小さなトレーニングデータセットと学習アルゴリズムがあれば、ターゲットの検証やテストのパフォーマンスに到達するのに、どれくらいのデータが必要か?
データ要求を過大評価または過小評価すると、十分な予算で回避できる相当なコストが発生する。
本ガイドラインを用いることで,機械学習システムのデータ要求を正確に推定し,開発時間とデータ取得コストの双方で節約することができる。
論文 参考訳(メタデータ) (2022-07-04T21:16:05Z) - Artificial Intelligence (AI)-Centric Management of Resources in Modern
Distributed Computing Systems [22.550075095184514]
Cloud Data Centres (DCS) は大規模で複雑で異種であり、複数のネットワークと地理的境界に分散している。
IoT(Internet of Things)駆動のアプリケーションは、リアルタイム処理と迅速な応答を必要とする膨大なデータを生成しています。
既存のリソース管理システム(RMS)は、そのような複合システムや動的システムには静的またはソリューションが不十分である。
論文 参考訳(メタデータ) (2020-06-09T06:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。