論文の概要: Towards Lightweight Data Integration using Multi-workflow Provenance and
Data Observability
- arxiv url: http://arxiv.org/abs/2308.09004v1
- Date: Thu, 17 Aug 2023 14:20:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 16:35:31.349040
- Title: Towards Lightweight Data Integration using Multi-workflow Provenance and
Data Observability
- Title（参考訳）: マルチワークフロープロバンスとデータオブザーバビリティを用いた軽量データ統合を目指して
- Authors: Renan Souza, Tyler J. Skluzacek, Sean R. Wilkinson, Maxim Ziatdinov,
Rafael Ferreira da Silva
- Abstract要約: 統合データ分析は、特に現在のAI時代において、科学的発見において重要な役割を果たす。
軽量ランタイム向けマルチワークフロー統合データ分析手法MIDAを提案する。
Summitスーパーコンピュータの1,680個のCPUコア上で,最大10000のタスクを実行するほぼゼロのオーバーヘッドを示す。
- 参考スコア（独自算出の注目度）: 0.2517763905487249
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern large-scale scientific discovery requires multidisciplinary
collaboration across diverse computing facilities, including High Performance
Computing (HPC) machines and the Edge-to-Cloud continuum. Integrated data
analysis plays a crucial role in scientific discovery, especially in the
current AI era, by enabling Responsible AI development, FAIR, Reproducibility,
and User Steering. However, the heterogeneous nature of science poses
challenges such as dealing with multiple supporting tools, cross-facility
environments, and efficient HPC execution. Building on data observability,
adapter system design, and provenance, we propose MIDA: an approach for
lightweight runtime Multi-workflow Integrated Data Analysis. MIDA defines data
observability strategies and adaptability methods for various parallel systems
and machine learning tools. With observability, it intercepts the dataflows in
the background without requiring instrumentation while integrating domain,
provenance, and telemetry data at runtime into a unified database ready for
user steering queries. We conduct experiments showing end-to-end multi-workflow
analysis integrating data from Dask and MLFlow in a real distributed deep
learning use case for materials science that runs on multiple environments with
up to 276 GPUs in parallel. We show near-zero overhead running up to 100,000
tasks on 1,680 CPU cores on the Summit supercomputer.
- Abstract（参考訳）: 現代の大規模科学的発見は、ハイパフォーマンスコンピューティング(HPC)マシンやエッジ・ツー・クラウド連続体など、様々なコンピューティング施設をまたいだ多分野の協力を必要とする。
統合データ分析は、特に現在のAI時代において、レスポンシブルAI開発、FAIR、再現性、ユーザステアリングを可能にすることで、科学的発見において重要な役割を果たす。
しかし、科学の異種性は、複数のサポートツール、クロスファクティリティ環境、効率的なHPC実行といった課題を提起する。
データオブザーバビリティ、アダプタシステム設計、証明に基づいて、軽量ランタイムのためのマルチワークフロー統合データ分析のためのアプローチMIDAを提案する。
MIDAは、様々な並列システムや機械学習ツールのデータ観測可能性戦略と適応性手法を定義する。
可観測性では、実行時にドメイン、プロヴァンス、テレメトリデータを統一データベースに統合しながら、インスツルメンテーションを必要とせずにバックグラウンドでのデータフローをインターセプトする。
DaskとMLFlowのデータを統合したエンドツーエンドのマルチワークフロー分析を,最大276GPUを並列に実行する複数の環境で動作する材料科学のための実分散ディープラーニングユースケースで実施する実験を行った。
Summitスーパーコンピュータの1,680個のCPUコア上で,最大10000のタスクを実行するほぼゼロのオーバーヘッドを示す。
関連論文リスト
- Final Report for CHESS: Cloud, High-Performance Computing, and Edge for Science and Security [5.781151161558928]
継続プラットフォームの構築、ワークフロータスクのオーケストレーション、データセットのキュレーションといった方法は、パフォーマンス、エネルギ、セキュリティ、信頼性に関する科学的要件を達成できない。
報告では、オープンサイエンスの観点から、CHESSの結果と成功について述べる。
論文 参考訳（メタデータ） (2024-10-21T15:16:00Z) - Enabling High Data Throughput Reinforcement Learning on GPUs: A Domain Agnostic Framework for Data-Driven Scientific Research [90.91438597133211]
我々は、強化学習の適用において重要なシステムのボトルネックを克服するために設計されたフレームワークであるWarpSciを紹介する。
我々は、CPUとGPU間のデータ転送の必要性を排除し、数千のシミュレーションを同時実行可能にする。
論文 参考訳（メタデータ） (2024-08-01T21:38:09Z) - Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。
Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。
これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
論文 参考訳（メタデータ） (2024-07-15T17:54:37Z) - EDALearn: A Comprehensive RTL-to-Signoff EDA Benchmark for Democratized
and Reproducible ML for EDA Research [5.093676641214663]
我々はEDALearnを紹介した。EDALearnは、EDAの機械学習タスクに特化した、最初の包括的なオープンソースベンチマークスイートである。
このベンチマークスイートは、合成から物理実装までのエンドツーエンドのフローを示し、さまざまなステージにわたるデータ収集を強化する。
私たちの貢献はML-EDAドメインのさらなる進歩を促進することを目的としています。
論文 参考訳（メタデータ） (2023-12-04T06:51:46Z) - Multi-Fidelity Active Learning with GFlowNets [65.91555804996203]
本稿では,GFlowNetsをサンプルとして多要素能動学習アルゴリズムを提案する。
分子探索タスクの評価は,GFlowNetsを用いた多要素能動学習が,その単要素の予算のごく一部で高い評価の候補を発見できることを示す。
論文 参考訳（メタデータ） (2023-06-20T17:43:42Z) - Distributed intelligence on the Edge-to-Cloud Continuum: A systematic
literature review [62.997667081978825]
このレビューは、現在利用可能な機械学習とデータ分析のための最先端ライブラリとフレームワークに関する包括的なビジョンを提供することを目的としている。
現在利用可能なEdge-to-Cloud Continuumに関する実験的な研究のための、主要なシミュレーション、エミュレーション、デプロイメントシステム、テストベッドも調査されている。
論文 参考訳（メタデータ） (2022-04-29T08:06:05Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Single-Modal Entropy based Active Learning for Visual Question Answering [75.1682163844354]
視覚質問応答(VQA)のマルチモーダル設定におけるアクティブラーニングに対処する
マルチモーダルな入力,画像,質問を考慮し,有効サンプル取得のための新しい手法を提案する。
私たちの新しいアイデアは、実装が簡単で、コスト効率が高く、他のマルチモーダルタスクにも容易に適応できます。
論文 参考訳（メタデータ） (2021-10-21T05:38:45Z) - PipeSim: Trace-driven Simulation of Large-Scale AI Operations Platforms [4.060731229044571]
大規模AIシステムのためのトレース駆動シミュレーションに基づく実験・分析環境を提案する。
IBMが開発したプロダクショングレードAIプラットフォームの分析データは、包括的なシミュレーションモデルを構築するために使用される。
独立して独立したイベントシミュレーターでモデルを実装し、実験を行うためのツールキットを提供する。
論文 参考訳（メタデータ） (2020-06-22T19:55:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。