論文の概要: Asynchronous Execution of Heterogeneous Tasks in AI-coupled HPC Workflows

• arxiv url: http://arxiv.org/abs/2208.11069v1
• Date: Tue, 23 Aug 2022 16:25:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 12:56:13.937512
• Title: Asynchronous Execution of Heterogeneous Tasks in AI-coupled HPC Workflows
• Title（参考訳）: AI結合HPCワークフローにおける異種タスクの非同期実行
• Authors: Vincent R. Pascuzzi, Matteo Turilli, Shantenu Jha
• Abstract要約: 不均一な科学は、様々な種類のタスクとそれらの間の依存関係から構成される。 異種プラットフォーム間で異なるタスクタイプをスケジューリングし、送信できるミドルウェアは、リソース利用の改善、タスクスループットの削減、メースパンの削減のために、タスクの非同期実行を許可する必要があります。
• 参考スコア（独自算出の注目度）: 1.5469452301122175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heterogeneous scientific workflows consist of numerous types of tasks and dependencies between them. Middleware capable of scheduling and submitting different task types across heterogeneous platforms must permit asynchronous execution of tasks for improved resource utilization, task throughput, and reduced makespan. In this paper we present an analysis of an important class of heterogeneous workflows, viz., AI-driven HPC workflows, to investigate asynchronous task execution requirements and properties. We model the degree of asynchronicity permitted for arbitrary workflows, and propose key metrics that can be used to determine qualitative benefits when employing asynchronous execution. Our experiments represent important scientific drivers, are performed at scale on Summit, and performance enhancements due to asynchronous execution are consistent with our model.
• Abstract（参考訳）: 不均一な科学的ワークフローは、様々な種類のタスクとそれらの間の依存関係から構成される。 異種プラットフォームにまたがって異なるタスクタイプをスケジューリングし、送信できるミドルウェアは、リソース利用、タスクスループット、コスト削減のためのタスクの非同期実行を許可しなければならない。 本稿では,ai駆動hpcワークフローという異種ワークフローの重要なクラスを分析し,非同期タスクの実行要件と特性について検討する。 任意のワークフローで許容される非同期性の度合いをモデル化し、非同期実行を使用する際の質的なメリットを決定するために使用できる主要なメトリクスを提案する。 われわれの実験は重要な科学的ドライバであり,サミットで大規模に実施され,非同期実行による性能向上は我々のモデルと一致している。

関連論文リスト

• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI [64.57616646552869]
  本稿では、モデル、データソース、パイプラインを統合し、複雑で多様なタスクを解決するためにパフォーマンスを向上させるために使用される協調AIシステムについて検討する。 我々は、LLMベースのフレームワークであるGenAgentを紹介した。 その結果、GenAgentは実行レベルおよびタスクレベルの評価においてベースラインアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-02T17:44:10Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)
• A Makespan and Energy-Aware Scheduling Algorithm for Workflows under Reliability Constraint on a Multiprocessor Platform [11.427019313284]
  本稿では,所定の信頼性制約に対する等間隔とエネルギーを最小化するワークフロースケジューリングアルゴリズムを提案する。 私たちのアルゴリズムであるMERTとEAFTSは最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-12-19T07:03:04Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• A Fast Edge-Based Synchronizer for Tasks in Real-Time Artificial Intelligence Applications [0.8122270502556374]
  デバイス間のタスク同期は、AIアプリケーションのタイムリーな進捗に影響を与える重要な問題です。 入力出力タスクの実行と計算タスクをタイムアライメントできる高速エッジベースの同期スキームを開発しています。
  論文  参考訳（メタデータ） (2020-12-21T23:02:21Z)
• Sequence-to-sequence models for workload interference [1.988145627448243]
  データセンターでのジョブのスケジューリングは難しいシナリオであり、ジョブは厳しいスローダウンや実行の失敗につながるリソースを競うことができる。 現在のテクニックは、多くが機械学習とジョブモデリングを含むもので、時間にわたってワークロードの振る舞いを要約に基づいている。 本稿では,リソースや実行時間に対する行動に基づいて,データセンタ上でのジョブの協調スケジューリングをモデル化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-25T14:11:46Z)
• Taskflow: A Lightweight Parallel and Heterogeneous Task Graph Computing System [12.813275501138193]
  Taskflowは、軽量なタスクグラフベースのアプローチを使用して、並列および異種アプリケーションの構築を合理化することを目的としている。 我々のプログラミングモデルは、グラフ内制御フローを伴うタスクグラフ並列性の非常に一般的なクラスとして、自分自身を区別する。 我々は実世界のアプリケーションでTaskflowの有望な性能を実証した。
  論文  参考訳（メタデータ） (2020-04-23T00:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。