論文の概要: HPTMT Parallel Operators for High Performance Data Science & Data
Engineering
- arxiv url: http://arxiv.org/abs/2108.06001v1
- Date: Fri, 13 Aug 2021 00:05:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-16 21:40:54.374067
- Title: HPTMT Parallel Operators for High Performance Data Science & Data
Engineering
- Title(参考訳): 高性能データサイエンス・データエンジニアリングのためのHPTMT並列演算子
- Authors: Vibhatha Abeykoon, Supun Kamburugamuve, Chathura Widanage, Niranda
Perera, Ahmet Uyar, Thejaka Amila Kanewala, Gregor von Laszewski, and
Geoffrey Fox
- Abstract要約: HPTMTアーキテクチャは、リッチなデータアプリケーションを作成するための一連のデータ構造、演算子、実行モデルを特定する。
本稿では、ディープラーニングとデータエンジニアリングを併用したエンドツーエンドアプリケーションを用いて、このアーキテクチャを詳述し、解説する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-intensive applications are becoming commonplace in all science
disciplines. They are comprised of a rich set of sub-domains such as data
engineering, deep learning, and machine learning. These applications are built
around efficient data abstractions and operators that suit the applications of
different domains. Often lack of a clear definition of data structures and
operators in the field has led to other implementations that do not work well
together. The HPTMT architecture that we proposed recently, identifies a set of
data structures, operators, and an execution model for creating rich data
applications that links all aspects of data engineering and data science
together efficiently. This paper elaborates and illustrates this architecture
using an end-to-end application with deep learning and data engineering parts
working together.
- Abstract(参考訳): データ集約型アプリケーションは、あらゆる科学分野において一般的になっています。
これらはデータエンジニアリングやディープラーニング、マシンラーニングといった、豊富なサブドメインで構成されています。
これらのアプリケーションは、異なるドメインのアプリケーションに適した効率的なデータ抽象化とオペレータを中心に構築されている。
多くの場合、フィールド内のデータ構造と演算子の明確な定義が欠如しており、他の実装ではうまく動作しない。
我々が最近提案したHPTMTアーキテクチャは、データエンジニアリングとデータサイエンスのすべての側面を効率的に結びつけるリッチなデータアプリケーションを作成するための一連のデータ構造、演算子、実行モデルを特定します。
本稿では、ディープラーニングとデータエンジニアリングを併用したエンドツーエンドアプリケーションを用いて、このアーキテクチャを詳述し、解説する。
関連論文リスト
- Imitation Learning Datasets: A Toolkit For Creating Datasets, Training
Agents and Benchmarking [0.9944647907864256]
模倣学習分野は、タスク内のエージェントを訓練するために専門家データを必要とする。
多くの場合、この学習アプローチは利用可能なデータの欠如に悩まされる。
この作業は、Imitation Learningデータセットを作成することで、これらの問題に対処することを目的としている。
論文 参考訳(メタデータ) (2024-03-01T14:18:46Z) - Architecting Data-Intensive Applications : From Data Architecture Design
to Its Quality Assurance [0.0]
データアーキテクチャは、ビジネスニーズを満たすためのデータの記述、収集、保存、処理、分析において重要である。
各種の業界領域において,DATを5つ以上のケースで評価し,その例外的な適応性と有効性を示した。
論文 参考訳(メタデータ) (2024-01-22T14:58:54Z) - Serving Deep Learning Model in Relational Databases [72.72372281808694]
リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。
最先端のDL-Centricアーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。
UDF-Centricアーキテクチャは、データベースシステム内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
potentialRelation-Centricアーキテクチャは、演算子による大規模テンソル計算を表現することを目的としている。
論文 参考訳(メタデータ) (2023-10-07T06:01:35Z) - Integration of Domain Expert-Centric Ontology Design into the CRISP-DM
for Cyber-Physical Production Systems [63.62764375279861]
機械学習(ML)とデータマイニング(DM)の手法は、収集されたデータから複雑で隠れたパターンを抽出する上で有望であることが証明されている。
しかし、このようなデータ駆動プロジェクトは、通常、CRISPDM(Cross-Industry Standard Process for Data Mining)で実行され、データの理解と準備に要する時間の不均等さのために失敗することが多い。
このコントリビューションは、データサイエンティストがCPPSの課題に対してより迅速かつ確実に洞察を得ることができるように、統合されたアプローチを提供することを目的としている。
論文 参考訳(メタデータ) (2023-07-21T15:04:00Z) - DAT: Data Architecture Modeling Tool for Data-Driven Applications [1.6037279419318131]
データアーキテクチャ(DA)は、ビジネスニーズを満たすためのデータの記述、収集、保存、処理、分析に焦点を当てている。
DATは、データアーキテクト、データエンジニア、その他のステークホルダーが、システムを通してデータがどのように流れるかを記述することを可能にする、モデル駆動のエンジニアリングツールです。
論文 参考訳(メタデータ) (2023-06-21T11:24:59Z) - Linked Data Science Powered by Knowledge Graphs [3.6319424256529844]
本稿では,機械学習を用いてデータサイエンスパイプラインのセマンティクスを抽出し,それらを知識グラフでキャプチャするスケーラブルなシステムを提案する。
この抽象化がLinked Data Scienceを可能にする鍵となるのは、プラットフォームや企業、機関間でパイプラインの本質を共有することができるからです。
KGLiDSは、データセットのレコメンデーションやパイプラインの分類といった関連するタスクにおいて、最先端のシステムよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-03-03T20:31:04Z) - A Multi-Format Transfer Learning Model for Event Argument Extraction via
Variational Information Bottleneck [68.61583160269664]
イベント引数抽出(EAE)は、テキストから所定の役割を持つ引数を抽出することを目的としている。
変動情報のボトルネックを考慮したマルチフォーマット変換学習モデルを提案する。
3つのベンチマークデータセットに対して広範な実験を行い、EAE上での新たな最先端性能を得る。
論文 参考訳(メタデータ) (2022-08-27T13:52:01Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - CateCom: a practical data-centric approach to categorization of
computational models [77.34726150561087]
本稿では,物理モデルとデータ駆動型計算モデルのランドスケープを整理する取り組みについて述べる。
オブジェクト指向設計の概念を適用し、オープンソース協調フレームワークの基礎を概説する。
論文 参考訳(メタデータ) (2021-09-28T02:59:40Z) - IFCNet: A Benchmark Dataset for IFC Entity Classification [0.0]
この研究は、幾何学情報と意味情報の両方を含む広い範囲のIFCクラスにまたがる、シングルエンタリティIFCファイルのデータセットであるIFCNetを提示する。
実験では、物体の幾何学的情報のみを用いて、3つの異なるディープラーニングモデルが優れた分類性能を得ることができることを示した。
論文 参考訳(メタデータ) (2021-06-17T17:59:00Z) - MetaPerturb: Transferable Regularizer for Heterogeneous Tasks and
Architectures [61.73533544385352]
本稿ではメタパーターブ(MetaPerturb)というトランスファー可能な摂動モデルを提案する。
MetaPerturbは、レイヤやタスクにまたがる多様な分散を訓練したセット関数であるため、異種タスクやアーキテクチャを一般化することができる。
論文 参考訳(メタデータ) (2020-06-13T02:54:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。