論文の概要: Asynchronous Execution of Heterogeneous Tasks in ML-driven HPC Workflows

• arxiv url: http://arxiv.org/abs/2208.11069v2
• Date: Tue, 27 Jun 2023 16:13:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 18:05:13.200601
• Title: Asynchronous Execution of Heterogeneous Tasks in ML-driven HPC Workflows
• Title（参考訳）: ml駆動hpcワークフローにおける異種タスクの非同期実行
• Authors: Vincent R. Pascuzzi, Ozgur O. Kilic, Matteo Turilli, Shantenu Jha
• Abstract要約: 非同期実行は、リソース利用、タスクのスループット、sakepanの削減に不可欠である。 機械学習(ML)駆動ハイパフォーマンスコンピューティングにおける非同期タスク実行の要件と特性について検討する。 私たちの実験は,関連する科学的要因を表現し,サミットで大規模に実施し,非同期実行によるパフォーマンス向上が我々のモデルと一致していることを示す。
• 参考スコア（独自算出の注目度）: 1.376408511310322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heterogeneous scientific workflows consist of numerous types of tasks that require executing on heterogeneous resources. Asynchronous execution of those tasks is crucial to improve resource utilization, task throughput and reduce workflows' makespan. Therefore, middleware capable of scheduling and executing different task types across heterogeneous resources must enable asynchronous execution of tasks. In this paper, we investigate the requirements and properties of the asynchronous task execution of machine learning (ML)-driven high performance computing (HPC) workflows. We model the degree of asynchronicity permitted for arbitrary workflows and propose key metrics that can be used to determine qualitative benefits when employing asynchronous execution. Our experiments represent relevant scientific drivers, we perform them at scale on Summit, and we show that the performance enhancements due to asynchronous execution are consistent with our model.
• Abstract（参考訳）: 異種科学ワークフローは、異種リソース上で実行する必要がある様々な種類のタスクで構成される。 これらのタスクの非同期実行は、リソース利用の改善、タスクスループットの向上、ワークフローの規模削減に不可欠である。 したがって、異種リソース間で異なるタスクタイプをスケジューリングおよび実行可能なミドルウェアは、タスクの非同期実行を可能にする必要がある。 本稿では、機械学習(ml)駆動ハイパフォーマンスコンピューティング(hpc)ワークフローの非同期タスク実行の要件と特性について検討する。 任意のワークフローで許容される非同期性の度合いをモデル化し、非同期実行を使用する際の質的なメリットを決定するために使用できる主要なメトリクスを提案する。 実験は関連する科学的要因を表現し,サミットで大規模に実施し,非同期実行によるパフォーマンス向上が我々のモデルと一致していることを示す。

関連論文リスト

• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI [64.57616646552869]
  本稿では、モデル、データソース、パイプラインを統合し、複雑で多様なタスクを解決するためにパフォーマンスを向上させるために使用される協調AIシステムについて検討する。 我々は、LLMベースのフレームワークであるGenAgentを紹介した。 その結果、GenAgentは実行レベルおよびタスクレベルの評価においてベースラインアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-02T17:44:10Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)
• A Makespan and Energy-Aware Scheduling Algorithm for Workflows under Reliability Constraint on a Multiprocessor Platform [11.427019313284]
  本稿では,所定の信頼性制約に対する等間隔とエネルギーを最小化するワークフロースケジューリングアルゴリズムを提案する。 私たちのアルゴリズムであるMERTとEAFTSは最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-12-19T07:03:04Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• A Fast Edge-Based Synchronizer for Tasks in Real-Time Artificial Intelligence Applications [0.8122270502556374]
  デバイス間のタスク同期は、AIアプリケーションのタイムリーな進捗に影響を与える重要な問題です。 入力出力タスクの実行と計算タスクをタイムアライメントできる高速エッジベースの同期スキームを開発しています。
  論文  参考訳（メタデータ） (2020-12-21T23:02:21Z)
• Sequence-to-sequence models for workload interference [1.988145627448243]
  データセンターでのジョブのスケジューリングは難しいシナリオであり、ジョブは厳しいスローダウンや実行の失敗につながるリソースを競うことができる。 現在のテクニックは、多くが機械学習とジョブモデリングを含むもので、時間にわたってワークロードの振る舞いを要約に基づいている。 本稿では,リソースや実行時間に対する行動に基づいて,データセンタ上でのジョブの協調スケジューリングをモデル化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-25T14:11:46Z)
• Taskflow: A Lightweight Parallel and Heterogeneous Task Graph Computing System [12.813275501138193]
  Taskflowは、軽量なタスクグラフベースのアプローチを使用して、並列および異種アプリケーションの構築を合理化することを目的としている。 我々のプログラミングモデルは、グラフ内制御フローを伴うタスクグラフ並列性の非常に一般的なクラスとして、自分自身を区別する。 我々は実世界のアプリケーションでTaskflowの有望な性能を実証した。
  論文  参考訳（メタデータ） (2020-04-23T00:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。