論文の概要: Exascale Workflow Applications and Middleware: An ExaWorks Retrospective
- arxiv url: http://arxiv.org/abs/2411.10637v1
- Date: Sat, 16 Nov 2024 00:10:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:34:58.551790
- Title: Exascale Workflow Applications and Middleware: An ExaWorks Retrospective
- Title（参考訳）: Exascaleのワークフローアプリケーションとミドルウェア: ExaWorksのふりかえり
- Authors: Aymen Alsaadi, Mihael Hategan-Marandiuc, Ketan Maheshwari, Andre Merzky, Mikhail Titov, Matteo Turilli, Andreas Wilke, Justin M. Wozniak, Kyle Chard, Rafael Ferreira da Silva, Shantenu Jha, Daniel Laney,
- Abstract要約: 多様な大規模プラットフォーム上で異種ソフトウェアコンポーネントをコーディネートし、デプロイするという課題に対処するExaWorksプロジェクトを紹介します。
我々はジョブ管理抽象化APIであるSoftware Development Toolkit(SDK)と、ジョブの提出と監視のための最小限のインターフェースであるPSI/Jを開発した。
当社のプロジェクトでは,ワークフローコミュニティや大規模コンピューティング施設,HPCプラットフォームベンダと連携して,エクサスケールでの要件を持続的に解決する方法について論じる。
- 参考スコア（独自算出の注目度）: 3.4423220997316593
- License:
- Abstract: Exascale computers offer transformative capabilities to combine data-driven and learning-based approaches with traditional simulation applications to accelerate scientific discovery and insight. However, these software combinations and integrations are difficult to achieve due to the challenges of coordinating and deploying heterogeneous software components on diverse and massive platforms. We present the ExaWorks project, which addresses many of these challenges. We developed a workflow Software Development Toolkit (SDK), a curated collection of workflow technologies that can be composed and interoperated through a common interface, engineered following current best practices, and specifically designed to work on HPC platforms. ExaWorks also developed PSI/J, a job management abstraction API, to simplify the construction of portable software components and applications that can be used over various HPC schedulers. The PSI/J API is a minimal interface for submitting and monitoring jobs and their execution state across multiple and commonly used HPC schedulers. We also describe several leading and innovative workflow examples of ExaWorks tools used on DOE leadership platforms. Furthermore, we discuss how our project is working with the workflow community, large computing facilities, and HPC platform vendors to address the requirements of workflows sustainably at the exascale.
- Abstract（参考訳）: エクサスケールコンピュータは、データ駆動型と学習ベースのアプローチと従来のシミュレーションアプリケーションを組み合わせて、科学的発見と洞察を加速するトランスフォーメーション機能を提供する。
しかし、多種多様なプラットフォーム上の異種ソフトウェアコンポーネントの調整とデプロイという課題のため、これらのソフトウェアの組み合わせと統合は達成が難しい。
これらの課題の多くに対処するExaWorksプロジェクトを紹介します。
私たちはワークフロー開発ツールキット(SDK)を開発しました。これはワークフローテクノロジのキュレーションされたコレクションで、共通インターフェースを通じて構成および相互運用が可能で、現在のベストプラクティスに従って設計され、特にHPCプラットフォームで動作するように設計されています。
ExaWorksはまた、様々なHPCスケジューラ上で使用できるポータブルソフトウェアコンポーネントやアプリケーションの構築を簡単にするために、ジョブ管理抽象化APIであるPSI/Jも開発した。
PSI/J APIは、ジョブの送信と監視と、複数の一般的なHPCスケジューラにわたる実行状態の最小限のインターフェースである。
また、DOEリーダーシッププラットフォームで使用されるExaWorksツールの、先進的で革新的なワークフロー例をいくつか紹介する。
さらに、当社のプロジェクトはワークフローコミュニティ、大規模コンピューティング施設、HPCプラットフォームベンダーとどのように連携して、ワークフローの要件をエクサスケールで持続的に解決しているかについても論じる。
関連論文リスト
- WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。
最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。
LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
論文 参考訳（メタデータ） (2024-11-08T09:58:02Z) - GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI [64.57616646552869]
本稿では、モデル、データソース、パイプラインを統合し、複雑で多様なタスクを解決するためにパフォーマンスを向上させるために使用される協調AIシステムについて検討する。
我々は、LLMベースのフレームワークであるGenAgentを紹介した。
その結果、GenAgentは実行レベルおよびタスクレベルの評価においてベースラインアプローチよりも優れていた。
論文 参考訳（メタデータ） (2024-09-02T17:44:10Z) - ExaWorks Software Development Kit: A Robust and Scalable Collection of Interoperable Workflow Technologies [3.1805622006446397]
不均一な科学的発見は、ますます高性能なコンピューティングプラットフォーム上での実行を必要としている。
私たちはExaWorks Software Development Kit(SDK)の開発でこの問題に対処することに貢献しました。
SDKは、現在のベストプラクティスに従って開発された一連のワークフロー技術であり、特にHPCプラットフォームで動作するように設計されている。
論文 参考訳（メタデータ） (2024-07-23T17:00:09Z) - Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。
Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。
これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
論文 参考訳（メタデータ） (2024-07-15T17:54:37Z) - SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。
SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。
我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
論文 参考訳（メタデータ） (2024-05-06T17:41:33Z) - Leveraging Large Language Models to Build and Execute Computational
Workflows [40.572754656757475]
本稿では,これらの新たな能力が,複雑な科学的研究を促進するためにどのように活用できるかを考察する。
我々はPhyloflowをOpenAIの関数呼び出しAPIに統合する試みからの最初の成果を提示し、包括的なワークフロー管理システムを開発するための戦略を概説する。
論文 参考訳（メタデータ） (2023-12-12T20:17:13Z) - Large Language Models to the Rescue: Reducing the Complexity in
Scientific Workflow Development Using ChatGPT [11.410608233274942]
科学システムは、大規模なデータセット上で複雑なデータ分析パイプラインを表現および実行するためにますます人気がある。
しかし、多くのブラックボックスツールと実行に必要な深いインフラストラクチャスタックが関与しているため、実装は難しい。
本研究では,大規模言語モデル,特にChatGPTの効率性を検討した。
論文 参考訳（メタデータ） (2023-11-03T10:28:53Z) - HPC-Coder: Modeling Parallel Programs using Large Language Models [2.3101915391170573]
ハイパフォーマンスおよび科学的コードに特有のタスクに、いかに大きな言語モデルを適用することができるかを示す。
我々は、HPCと科学コードの新しいデータセットを導入し、それをいくつかの事前訓練されたモデルを微調整するために使用します。
本研究では,汎用モデルでは不可能なHPC関数を自動補完できることを示す。
論文 参考訳（メタデータ） (2023-06-29T19:44:55Z) - Composing Complex and Hybrid AI Solutions [52.00820391621739]
一般的なAIアプリケーションで上記の機能を実現するためのAcumosシステムの拡張について述べる。
当社の拡張機能には、gRPC/Protobufインターフェースによるより汎用的なコンポーネントのサポートが含まれています。
デプロイ可能なソリューションとそのインターフェースの例を提供する。
論文 参考訳（メタデータ） (2022-02-25T08:57:06Z) - YMIR: A Rapid Data-centric Development Platform for Vision Applications [82.67319997259622]
本稿では,コンピュータビジョンアプリケーションの開発を迅速化するオープンソースプラットフォームについて紹介する。
このプラットフォームは、効率的なデータ開発を機械学習開発プロセスの中心に置く。
論文 参考訳（メタデータ） (2021-11-19T05:02:55Z) - Collective Knowledge: organizing research projects as a database of
reusable components and portable workflows with common APIs [0.2538209532048866]
この記事では、集合的知識フレームワーク(CKまたはcKnowledge)のモチベーションと概要について述べる。
CKの概念は、研究プロジェクトを研究成果物をカプセル化した再利用可能なコンポーネントに分解することである。
長期的な目標は、研究者と実践者を結びつけて、すべての知識を共有し再利用することで、イノベーションを加速させることである。
論文 参考訳（メタデータ） (2020-11-02T17:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。