論文の概要: New approach to MPI program execution time prediction
- arxiv url: http://arxiv.org/abs/2007.15338v1
- Date: Thu, 30 Jul 2020 09:35:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 13:57:54.425243
- Title: New approach to MPI program execution time prediction
- Title（参考訳）: MPIプログラム実行時間予測への新しいアプローチ
- Authors: A. Chupakhin, A. Kolosov, R. Smeliansky, V. Antonenko, G. Ishelev
- Abstract要約: MPIプログラムの実行時間予測の問題について考察する。
この問題は、クラウドコンピューティング環境における仮想インフラストラクチャのオーケストレーションとプロビジョニングによって生じる。
本稿では,プログラム実行時間予測問題に対する2つの新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The problem of MPI programs execution time prediction on a certain set of
computer installations is considered. This problem emerges with orchestration
and provisioning a virtual infrastructure in a cloud computing environment over
a heterogeneous network of computer installations: supercomputers or clusters
of servers (e.g. mini data centers). One of the key criteria for the
effectiveness of the cloud computing environment is the time staying by the
program inside the environment. This time consists of the waiting time in the
queue and the execution time on the selected physical computer installation, to
which the computational resource of the virtual infrastructure is dynamically
mapped. One of the components of this problem is the estimation of the MPI
programs execution time on a certain set of computer installations. This is
necessary to determine a proper choice of order and place for program
execution. The article proposes two new approaches to the program execution
time prediction problem. The first one is based on computer installations
grouping based on the Pearson correlation coefficient. The second one is based
on vector representations of computer installations and MPI programs, so-called
embeddings. The embedding technique is actively used in recommendation systems,
such as for goods (Amazon), for articles (Arxiv.org), for videos (YouTube,
Netflix). The article shows how the embeddings technique helps to predict the
execution time of a MPI program on a certain set of computer installations.
- Abstract（参考訳）: ある種のコンピュータインストールにおけるmpiプログラムの実行時間予測の問題点を考察する。
この問題は、スーパーコンピュータやサーバのクラスタ(ミニデータセンターなど)など、コンピュータインストールの異種ネットワーク上で、クラウドコンピューティング環境における仮想インフラストラクチャのオーケストレーションとプロビジョニングによって生じる。
クラウドコンピューティング環境の有効性の鍵となる基準の1つは、環境内のプログラムに滞在する時間である。
この時間は、キュー内の待ち時間と、仮想インフラストラクチャの計算リソースを動的にマッピングした選択された物理コンピュータインストールの実行時間とからなる。
この問題のコンポーネントの1つは、特定のコンピュータインストールセット上でのMPIプログラムの実行時間の推定である。
これは、プログラム実行の順序と場所の適切な選択を決定するために必要である。
本稿では,プログラム実行時間予測問題に対する2つの新しいアプローチを提案する。
1つ目は、ピアソン相関係数に基づくコンピュータインストールグループに基づくものである。
2つ目は、コンピュータのインストールとmpiプログラムのベクトル表現、いわゆる埋め込みに基づいている。
この埋め込み技術は、for goods(amazon)、for articles(arxiv.org)、for videos(youtube、netflix)などのレコメンデーションシステムで積極的に使われている。
この記事では、組み込み技術が、特定のコンピュータインストールセット上でMPIプログラムの実行時間を予測するのにどのように役立つかを示す。
関連論文リスト
- DynaSplit: A Hardware-Software Co-Design Framework for Energy-Aware Inference on Edge [40.96858640950632]
ソフトウェアとハードウェアの両方でパラメータを動的に設定するフレームワークであるDynaSplitを提案する。
実世界のテストベッド上で、人気のあるトレーニング済みNNを用いてDynaSplitを評価する。
その結果,クラウドのみの計算に比べてエネルギー消費が最大で72%減少した。
論文 参考訳（メタデータ） (2024-10-31T12:44:07Z) - Toward Smart Scheduling in Tapis [1.0377683220196874]
本稿では,Tapisにおけるインテリジェントなジョブスケジューリング機能の開発について紹介する。
我々は、異なるHPCシステムとキュー上でジョブの待ち時間を予測すること。
私たちの最初の結果セットは、既存のオプションリストから最適なシステムを選択するのに使用できる回帰としてこの問題を提起しました。
論文 参考訳（メタデータ） (2024-08-05T20:01:31Z) - Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。
本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。
大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
論文 参考訳（メタデータ） (2023-09-01T18:02:04Z) - XEngine: Optimal Tensor Rematerialization for Neural Networks in
Heterogeneous Environments [3.769144330511514]
我々は、低メモリ環境において、ネットワークオペレーターを異種デバイスにスケジュールするアプローチであるXEngineを提案する。
我々の解法は、ネットワークが単一のデバイスでのみ計算される最速のCheckmateスケジュールよりも最大22.5 %高速な解を求める。
論文 参考訳（メタデータ） (2022-12-19T08:12:25Z) - PARTIME: Scalable and Parallel Processing Over Time with Deep Neural
Networks [68.96484488899901]
PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。
PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。
オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
論文 参考訳（メタデータ） (2022-10-17T14:49:14Z) - QParallel: Explicit Parallelism for Programming Quantum Computers [62.10004571940546]
並列量子プログラミングのための言語拡張を提案する。
QParallelは、現在の量子プログラミング言語における並列性に関する曖昧さを取り除く。
並列化によって最も利益を上げるサブルーチンを識別し,並列領域の配置にプログラマを誘導するツールを提案する。
論文 参考訳（メタデータ） (2022-10-07T16:35:16Z) - Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。
本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
論文 参考訳（メタデータ） (2022-05-23T12:35:18Z) - Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to
Infer Hardware Performances [58.720142291102135]
VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。
これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-05-09T22:48:39Z) - Scheduling in Parallel Finite Buffer Systems: Optimal Decisions under
Delayed Feedback [29.177402567437206]
本稿では,遅延認識の限られた情報の下で並列キューシステムにおけるスケジューリング決定をキャプチャする部分観測可能(PO)モデルを提案する。
得られたポリシーが他の限られた情報スケジューリング戦略より優れていることを数値的に示す。
本稿では,Kaggleが提供するネットワークデータを用いてリアルタイム並列処理を最適化する方法を示す。
論文 参考訳（メタデータ） (2021-09-17T13:45:02Z) - Better than the Best: Gradient-based Improper Reinforcement Learning for
Network Scheduling [60.48359567964899]
パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。
我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
論文 参考訳（メタデータ） (2021-05-01T10:18:34Z) - Rosella: A Self-Driving Distributed Scheduler for Heterogeneous Clusters [7.206919625027208]
異種クラスタにおけるタスクスケジューリングのための,新たな自律分散アプローチであるRosellaを紹介する。
Rosellaは自動的に計算環境を学習し、スケジューリングポリシーをリアルタイムで調整する。
32ノードのAWSクラスタ上で、さまざまなワークロードでRosellaを評価します。
論文 参考訳（メタデータ） (2020-10-28T20:12:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。