Fugu-MT 論文翻訳(概要): A Survey of Pipeline Tools for Data Engineering

論文の概要: A Survey of Pipeline Tools for Data Engineering

arxiv url: http://arxiv.org/abs/2406.08335v1
Date: Wed, 12 Jun 2024 15:41:06 GMT
ステータス: 処理完了
システム内更新日: 2024-06-13 16:16:39.845605
Title: A Survey of Pipeline Tools for Data Engineering
Title（参考訳）: データエンジニアリングのためのパイプラインツールに関する調査
Authors: Anthony Mbata, Yaji Sripada, Mingjun Zhong,
Abstract要約: さまざまなパイプラインツールがデータエンジニアリングで使用することができる。この調査では、パイプラインツールの設計とデータエンジニアリングの意図に基づいて、幅広いカテゴリと例を調査した。ケーススタディでは、データエンジニアリングにパイプラインツールを使用することを示す。
参考スコア（独自算出の注目度）: 1.4856472820492366
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Currently, a variety of pipeline tools are available for use in data engineering. Data scientists can use these tools to resolve data wrangling issues associated with data and accomplish some data engineering tasks from data ingestion through data preparation to utilization as input for machine learning (ML). Some of these tools have essential built-in components or can be combined with other tools to perform desired data engineering operations. While some tools are wholly or partly commercial, several open-source tools are available to perform expert-level data engineering tasks. This survey examines the broad categories and examples of pipeline tools based on their design and data engineering intentions. These categories are Extract Transform Load/Extract Load Transform (ETL/ELT), pipelines for Data Integration, Ingestion, and Transformation, Data Pipeline Orchestration and Workflow Management, and Machine Learning Pipelines. The survey also provides a broad outline of the utilization with examples within these broad groups and finally, a discussion is presented with case studies indicating the usage of pipeline tools for data engineering. The studies present some first-user application experiences with sample data, some complexities of the applied pipeline, and a summary note of approaches to using these tools to prepare data for machine learning.
Abstract（参考訳）: 現在、さまざまなパイプラインツールがデータエンジニアリングで使用することができる。データサイエンティストはこれらのツールを使用して、データに関連する問題を解決し、データの準備から機械学習(ML)の入力としての利用に至るまでのデータエンジニアリングタスクを達成できる。これらのツールのいくつかは、必須の組み込みコンポーネントを持っているか、あるいは、望ましいデータエンジニアリング操作を実行するために他のツールと組み合わせることができる。一部のツールは完全あるいは部分的に商用だが、専門家レベルのデータエンジニアリングタスクを実行するためにいくつかのオープンソースツールが利用可能である。この調査では、パイプラインツールの設計とデータエンジニアリングの意図に基づいて、幅広いカテゴリと例を調査した。これらのカテゴリは、ETL/ELT(Extract Transform Load/Extract Load Transform)、データ統合、取り込み、変換のためのパイプライン、データパイプラインオーケストレーションとワークフロー管理、マシンラーニングパイプラインである。そして最後に、データエンジニアリングにパイプラインツールを使用するケーススタディを紹介する。この研究は、サンプルデータを使った最初のユーザアプリケーション体験、応用パイプラインの複雑さ、そしてこれらのツールを使用して機械学習のデータを作成するためのアプローチの概要を提示する。

関連論文リスト

Capturing and Anticipating User Intents in Data Analytics via Knowledge Graphs [0.061446808540639365]
この研究は、人間中心の複雑な分析を捉えるための基本的なフレームワークとして、知識グラフ(KG)の使用について検討する。生成されたKGに格納されたデータは、これらのシステムと対話するユーザーに補助(例えばレコメンデーション)を提供するために利用される。
論文参考訳（メタデータ） (2024-11-01T20:45:23Z)
Enabling Advanced Land Cover Analytics: An Integrated Data Extraction Pipeline for Predictive Modeling with the Dynamic World Dataset [1.3757956340051605]
Dynamic Worldデータセットを扱うために、フレキシブルで効率的なエンドツーエンドパイプラインを提示します。これには、ノイズ除去に取り組む前処理および表現フレームワーク、大量のデータの効率的な抽出、LULCデータの再表現が含まれる。パイプラインのパワーを実証するために、都市化予測問題のためのデータを抽出し、優れたパフォーマンスで機械学習モデルのスイートを構築する。
論文参考訳（メタデータ） (2024-10-11T16:13:01Z)
Instrumentation and Analysis of Native ML Pipelines via Logical Query Plans [3.2362171533623054]
私たちは、データサイエンティストが機械学習パイプラインを開発し、検証し、監視し、分析するのを支援するために、高度に自動化されたソフトウェアプラットフォームを構想しています。一般的なライブラリに依存したMLパイプラインコードから"論理クエリプラン"を抽出する。これらの計画に基づいて、パイプラインのセマンティクスとインスツルメンタを自動で推論し、MLパイプラインを書き換えて、データサイエンティストが手動でアノテートしたり、コードを書き換えたりすることなく、さまざまなユースケースを可能にします。
論文参考訳（メタデータ） (2024-07-10T11:35:02Z)
Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
論文参考訳（メタデータ） (2024-05-25T06:41:23Z)
Data Pipeline Training: Integrating AutoML to Optimize the Data Flow of Machine Learning Models [17.091169031023714]
Data Pipelineは、マシンラーニングのモデリングやデータ製品の開発といったタスクにおいて、必須の役割を果たす。本稿では,機械学習の自動化によるデータフローの最適化について検討する。私たちは、AutoML技術を活用してData Pipelineのインテリジェンスを強化する方法について論じる。
論文参考訳（メタデータ） (2024-02-20T11:06:42Z)
EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文参考訳（メタデータ） (2024-01-11T15:45:11Z)
Trusted Provenance of Automated, Collaborative and Adaptive Data Processing Pipelines [2.186901738997927]
ソリューションアーキテクチャと、Provenance Holderと呼ばれるサービスのコンセプト実装の証明を提供しています。 Provenance Holderは、コラボレーティブで適応的なデータ処理パイプラインを信頼できる方法で実現可能にする。
論文参考訳（メタデータ） (2023-10-17T17:52:27Z)
Demonstration of InsightPilot: An LLM-Empowered Automated Data Exploration System [48.62158108517576]
本稿では,データ探索プロセスの簡略化を目的とした自動データ探索システムであるInsightPilotを紹介する。 InsightPilotは、理解、要約、説明などの適切な分析意図を自動的に選択する。簡単に言うと、IQueryはデータ分析操作の抽象化と自動化であり、データアナリストのアプローチを模倣しています。
論文参考訳（メタデータ） (2023-04-02T07:27:49Z)
TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文参考訳（メタデータ） (2022-08-16T20:46:08Z)
Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
論文参考訳（メタデータ） (2022-02-17T14:31:58Z)
Omnidata: A Scalable Pipeline for Making Multi-Task Mid-Level Vision Datasets from 3D Scans [103.92680099373567]
本稿では,実世界の包括的3Dスキャンからマルチタスク視覚データセットをパラメトリックサンプリングし,レンダリングするパイプラインを提案する。サンプリングパラメータを変更することで、生成されたデータセットを“ステア”して、特定の情報を強調することが可能になる。生成されたスタータデータセットでトレーニングされた共通アーキテクチャは、複数の共通ビジョンタスクとベンチマークで最先端のパフォーマンスに達した。
論文参考訳（メタデータ） (2021-10-11T04:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。