論文の概要: Towards Lightweight Data Integration using Multi-workflow Provenance and
Data Observability
- arxiv url: http://arxiv.org/abs/2308.09004v1
- Date: Thu, 17 Aug 2023 14:20:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 16:35:31.349040
- Title: Towards Lightweight Data Integration using Multi-workflow Provenance and
Data Observability
- Title(参考訳): マルチワークフロープロバンスとデータオブザーバビリティを用いた軽量データ統合を目指して
- Authors: Renan Souza, Tyler J. Skluzacek, Sean R. Wilkinson, Maxim Ziatdinov,
Rafael Ferreira da Silva
- Abstract要約: 統合データ分析は、特に現在のAI時代において、科学的発見において重要な役割を果たす。
軽量ランタイム向けマルチワークフロー統合データ分析手法MIDAを提案する。
Summitスーパーコンピュータの1,680個のCPUコア上で,最大10000のタスクを実行するほぼゼロのオーバーヘッドを示す。
- 参考スコア(独自算出の注目度): 0.2517763905487249
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern large-scale scientific discovery requires multidisciplinary
collaboration across diverse computing facilities, including High Performance
Computing (HPC) machines and the Edge-to-Cloud continuum. Integrated data
analysis plays a crucial role in scientific discovery, especially in the
current AI era, by enabling Responsible AI development, FAIR, Reproducibility,
and User Steering. However, the heterogeneous nature of science poses
challenges such as dealing with multiple supporting tools, cross-facility
environments, and efficient HPC execution. Building on data observability,
adapter system design, and provenance, we propose MIDA: an approach for
lightweight runtime Multi-workflow Integrated Data Analysis. MIDA defines data
observability strategies and adaptability methods for various parallel systems
and machine learning tools. With observability, it intercepts the dataflows in
the background without requiring instrumentation while integrating domain,
provenance, and telemetry data at runtime into a unified database ready for
user steering queries. We conduct experiments showing end-to-end multi-workflow
analysis integrating data from Dask and MLFlow in a real distributed deep
learning use case for materials science that runs on multiple environments with
up to 276 GPUs in parallel. We show near-zero overhead running up to 100,000
tasks on 1,680 CPU cores on the Summit supercomputer.
- Abstract(参考訳): 現代の大規模科学的発見は、ハイパフォーマンスコンピューティング(HPC)マシンやエッジ・ツー・クラウド連続体など、様々なコンピューティング施設をまたいだ多分野の協力を必要とする。
統合データ分析は、特に現在のAI時代において、レスポンシブルAI開発、FAIR、再現性、ユーザステアリングを可能にすることで、科学的発見において重要な役割を果たす。
しかし、科学の異種性は、複数のサポートツール、クロスファクティリティ環境、効率的なHPC実行といった課題を提起する。
データオブザーバビリティ、アダプタシステム設計、証明に基づいて、軽量ランタイムのためのマルチワークフロー統合データ分析のためのアプローチMIDAを提案する。
MIDAは、様々な並列システムや機械学習ツールのデータ観測可能性戦略と適応性手法を定義する。
可観測性では、実行時にドメイン、プロヴァンス、テレメトリデータを統一データベースに統合しながら、インスツルメンテーションを必要とせずにバックグラウンドでのデータフローをインターセプトする。
DaskとMLFlowのデータを統合したエンドツーエンドのマルチワークフロー分析を,最大276GPUを並列に実行する複数の環境で動作する材料科学のための実分散ディープラーニングユースケースで実施する実験を行った。
Summitスーパーコンピュータの1,680個のCPUコア上で,最大10000のタスクを実行するほぼゼロのオーバーヘッドを示す。
関連論文リスト
- EDALearn: A Comprehensive RTL-to-Signoff EDA Benchmark for Democratized
and Reproducible ML for EDA Research [5.093676641214663]
我々はEDALearnを紹介した。EDALearnは、EDAの機械学習タスクに特化した、最初の包括的なオープンソースベンチマークスイートである。
このベンチマークスイートは、合成から物理実装までのエンドツーエンドのフローを示し、さまざまなステージにわたるデータ収集を強化する。
私たちの貢献はML-EDAドメインのさらなる進歩を促進することを目的としています。
論文 参考訳(メタデータ) (2023-12-04T06:51:46Z) - MultiZoo & MultiBench: A Standardized Toolkit for Multimodal Deep
Learning [110.54752872873472]
MultiZooは、20コアのマルチモーダルアルゴリズムの標準化実装からなる公開ツールキットである。
MultiBenchは15のデータセット、10のモダリティ、20の予測タスク、6の研究領域にまたがるベンチマークである。
論文 参考訳(メタデータ) (2023-06-28T17:59:10Z) - Data-Copilot: Bridging Billions of Data and Humans with Autonomous
Workflow [44.703964214103856]
大規模言語モデル(LLM)は意味理解と推論において有望な能力を示した。
我々は,一方の端にある多数のデータソースを接続し,他方の端にある多様な人的要求に対応するLLMベースのシステムであるData-Copilotを提案する。
Data-Copilotは、生データをユーザーの意図に最も合う視覚化結果に自律的に変換する。
論文 参考訳(メタデータ) (2023-06-12T16:12:56Z) - LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset,
Framework, and Benchmark [81.42376626294812]
本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。
我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。
本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
論文 参考訳(メタデータ) (2023-06-11T14:01:17Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-05-29T05:20:38Z) - Distributed intelligence on the Edge-to-Cloud Continuum: A systematic
literature review [62.997667081978825]
このレビューは、現在利用可能な機械学習とデータ分析のための最先端ライブラリとフレームワークに関する包括的なビジョンを提供することを目的としている。
現在利用可能なEdge-to-Cloud Continuumに関する実験的な研究のための、主要なシミュレーション、エミュレーション、デプロイメントシステム、テストベッドも調査されている。
論文 参考訳(メタデータ) (2022-04-29T08:06:05Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - Single-Modal Entropy based Active Learning for Visual Question Answering [75.1682163844354]
視覚質問応答(VQA)のマルチモーダル設定におけるアクティブラーニングに対処する
マルチモーダルな入力,画像,質問を考慮し,有効サンプル取得のための新しい手法を提案する。
私たちの新しいアイデアは、実装が簡単で、コスト効率が高く、他のマルチモーダルタスクにも容易に適応できます。
論文 参考訳(メタデータ) (2021-10-21T05:38:45Z) - PipeSim: Trace-driven Simulation of Large-Scale AI Operations Platforms [4.060731229044571]
大規模AIシステムのためのトレース駆動シミュレーションに基づく実験・分析環境を提案する。
IBMが開発したプロダクショングレードAIプラットフォームの分析データは、包括的なシミュレーションモデルを構築するために使用される。
独立して独立したイベントシミュレーターでモデルを実装し、実験を行うためのツールキットを提供する。
論文 参考訳(メタデータ) (2020-06-22T19:55:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。