論文の概要: Asynchronous Execution of Heterogeneous Tasks in ML-driven HPC Workflows
- arxiv url: http://arxiv.org/abs/2208.11069v2
- Date: Tue, 27 Jun 2023 16:13:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 18:05:13.200601
- Title: Asynchronous Execution of Heterogeneous Tasks in ML-driven HPC Workflows
- Title(参考訳): ml駆動hpcワークフローにおける異種タスクの非同期実行
- Authors: Vincent R. Pascuzzi, Ozgur O. Kilic, Matteo Turilli, Shantenu Jha
- Abstract要約: 非同期実行は、リソース利用、タスクのスループット、sakepanの削減に不可欠である。
機械学習(ML)駆動ハイパフォーマンスコンピューティングにおける非同期タスク実行の要件と特性について検討する。
私たちの実験は,関連する科学的要因を表現し,サミットで大規模に実施し,非同期実行によるパフォーマンス向上が我々のモデルと一致していることを示す。
- 参考スコア(独自算出の注目度): 1.376408511310322
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heterogeneous scientific workflows consist of numerous types of tasks that
require executing on heterogeneous resources. Asynchronous execution of those
tasks is crucial to improve resource utilization, task throughput and reduce
workflows' makespan. Therefore, middleware capable of scheduling and executing
different task types across heterogeneous resources must enable asynchronous
execution of tasks. In this paper, we investigate the requirements and
properties of the asynchronous task execution of machine learning (ML)-driven
high performance computing (HPC) workflows. We model the degree of
asynchronicity permitted for arbitrary workflows and propose key metrics that
can be used to determine qualitative benefits when employing asynchronous
execution. Our experiments represent relevant scientific drivers, we perform
them at scale on Summit, and we show that the performance enhancements due to
asynchronous execution are consistent with our model.
- Abstract(参考訳): 異種科学ワークフローは、異種リソース上で実行する必要がある様々な種類のタスクで構成される。
これらのタスクの非同期実行は、リソース利用の改善、タスクスループットの向上、ワークフローの規模削減に不可欠である。
したがって、異種リソース間で異なるタスクタイプをスケジューリングおよび実行可能なミドルウェアは、タスクの非同期実行を可能にする必要がある。
本稿では、機械学習(ml)駆動ハイパフォーマンスコンピューティング(hpc)ワークフローの非同期タスク実行の要件と特性について検討する。
任意のワークフローで許容される非同期性の度合いをモデル化し、非同期実行を使用する際の質的なメリットを決定するために使用できる主要なメトリクスを提案する。
実験は関連する科学的要因を表現し,サミットで大規模に実施し,非同期実行によるパフォーマンス向上が我々のモデルと一致していることを示す。
関連論文リスト
- Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。
本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。
また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
論文 参考訳(メタデータ) (2024-03-01T07:06:57Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。
アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。
我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
論文 参考訳(メタデータ) (2022-12-30T12:32:43Z) - A Makespan and Energy-Aware Scheduling Algorithm for Workflows under
Reliability Constraint on a Multiprocessor Platform [11.427019313284]
本稿では,所定の信頼性制約に対する等間隔とエネルギーを最小化するワークフロースケジューリングアルゴリズムを提案する。
私たちのアルゴリズムであるMERTとEAFTSは最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2022-12-19T07:03:04Z) - Controllable Dynamic Multi-Task Architectures [92.74372912009127]
本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。
本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
論文 参考訳(メタデータ) (2022-03-28T17:56:40Z) - On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
マルチタスク学習の研究はコミュニティから大きな注目を集めている。
目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。
従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。
本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。
さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
論文 参考訳(メタデータ) (2022-03-06T11:57:18Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳(メタデータ) (2021-12-02T18:59:50Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳(メタデータ) (2021-04-28T16:45:56Z) - A Fast Edge-Based Synchronizer for Tasks in Real-Time Artificial
Intelligence Applications [0.8122270502556374]
デバイス間のタスク同期は、AIアプリケーションのタイムリーな進捗に影響を与える重要な問題です。
入力出力タスクの実行と計算タスクをタイムアライメントできる高速エッジベースの同期スキームを開発しています。
論文 参考訳(メタデータ) (2020-12-21T23:02:21Z) - Sequence-to-sequence models for workload interference [1.988145627448243]
データセンターでのジョブのスケジューリングは難しいシナリオであり、ジョブは厳しいスローダウンや実行の失敗につながるリソースを競うことができる。
現在のテクニックは、多くが機械学習とジョブモデリングを含むもので、時間にわたってワークロードの振る舞いを要約に基づいている。
本稿では,リソースや実行時間に対する行動に基づいて,データセンタ上でのジョブの協調スケジューリングをモデル化する手法を提案する。
論文 参考訳(メタデータ) (2020-06-25T14:11:46Z) - Taskflow: A Lightweight Parallel and Heterogeneous Task Graph Computing
System [12.813275501138193]
Taskflowは、軽量なタスクグラフベースのアプローチを使用して、並列および異種アプリケーションの構築を合理化することを目的としている。
我々のプログラミングモデルは、グラフ内制御フローを伴うタスクグラフ並列性の非常に一般的なクラスとして、自分自身を区別する。
我々は実世界のアプリケーションでTaskflowの有望な性能を実証した。
論文 参考訳(メタデータ) (2020-04-23T00:21:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。