論文の概要: Trusted Provenance of Automated, Collaborative and Adaptive Data Processing Pipelines

• arxiv url: http://arxiv.org/abs/2310.11442v1
• Date: Tue, 17 Oct 2023 17:52:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 02:13:39.557379
• Title: Trusted Provenance of Automated, Collaborative and Adaptive Data Processing Pipelines
• Title（参考訳）: 自動化された協調型適応型データ処理パイプラインの信頼性
• Authors: Ludwig Stage, Dimka Karastoyanova,
• Abstract要約: ソリューションアーキテクチャと、Provenance Holderと呼ばれるサービスのコンセプト実装の証明を提供しています。 Provenance Holderは、コラボレーティブで適応的なデータ処理パイプラインを信頼できる方法で実現可能にする。
• 参考スコア（独自算出の注目度）: 2.186901738997927
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To benefit from the abundance of data and the insights it brings data processing pipelines are being used in many areas of research and development in both industry and academia. One approach to automating data processing pipelines is the workflow technology, as it also supports collaborative, trial-and-error experimentation with the pipeline architecture in different application domains. In addition to the necessary flexibility that such pipelines need to possess, in collaborative settings cross-organisational interactions are plagued by lack of trust. While capturing provenance information related to the pipeline execution and the processed data is a first step towards enabling trusted collaborations, the current solutions do not allow for provenance of the change in the processing pipelines, where the subject of change can be made on any aspect of the workflow implementing the pipeline and on the data used while the pipeline is being executed. Therefore in this work we provide a solution architecture and a proof of concept implementation of a service, called Provenance Holder, which enable provenance of collaborative, adaptive data processing pipelines in a trusted manner. We also contribute a definition of a set of properties of such a service and identify future research directions.
• Abstract（参考訳）: データの豊富さと、それがもたらす洞察から恩恵を受けるために、データ処理パイプラインは、産業と学術の両方において、多くの分野の研究と開発で使用されている。 データ処理パイプラインを自動化するアプローチのひとつにワークフロー技術があり、さまざまなアプリケーションドメインにおけるパイプラインアーキテクチャとの協調的かつ試行錯誤的な実験もサポートする。 このようなパイプラインが持つ必要のある柔軟性に加えて、協調的な設定では、組織間の相互作用は信頼の欠如によって悩まされます。 パイプライン実行と処理データに関連する前兆情報をキャプチャすることは、信頼されたコラボレーションを可能にするための第1ステップであるが、現在のソリューションでは、パイプラインを実装するワークフローのあらゆる面と、パイプラインの実行中に使用されるデータに対して、変更対象が作成されるような、処理パイプラインの変更の証明を許可していない。 この作業では、ソリューションアーキテクチャとProvenance Holderと呼ばれるサービスのコンセプト実装の証明を提供し、協調的で適応的なデータ処理パイプラインを信頼できる方法で実現します。 また、そのようなサービスの特性の集合の定義に貢献し、今後の研究の方向性を特定します。

関連論文リスト

• Uncovering communities of pipelines in the task-fMRI analytical space [0.9217021281095907]
  同様の結果、特に特定のパラメータを共有するパイプラインのサブセットがあることが示されています。 これらのパイプライン・ツー・ピペリンパターンは参加者のグループ間で安定しているが、異なるタスクをまたぐものではない。 コミュニティ間の差異を可視化することにより、パイプライン空間は主に脳の活性化領域の大きさによって駆動されることを示す。
  論文  参考訳（メタデータ） (2023-12-11T09:18:14Z)
• Deep Pipeline Embeddings for AutoML [11.168121941015015]
  AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。 既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。 本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:40:38Z)
• Integrating pre-processing pipelines in ODC based framework [0.0]
  本稿では,オープンソース処理パイプラインの統合に基づく仮想製品の統合手法を提案する。 このアプローチの機能を検証し,評価するために,ジオイメージング・マネジメント・フレームワークに統合した。
  論文  参考訳（メタデータ） (2022-10-04T11:12:09Z)
• Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming [77.38174112525168]
  私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
  論文  参考訳（メタデータ） (2022-03-02T19:57:32Z)
• Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
  ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。 エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。 チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
  論文  参考訳（メタデータ） (2022-02-17T14:31:58Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines [48.7576911714538]
  提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。 パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。 このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
  論文  参考訳（メタデータ） (2021-06-26T23:19:06Z)
• MLCask: Efficient Management of Component Evolution in Collaborative Data Analytics Pipelines [29.999324319722508]
  マシンラーニングパイプラインのデプロイ時に発生する2つの大きな課題に対処し、エンドツーエンド分析システムMLCaskのバージョニング設計で対処する。 我々は,再利用可能な履歴記録とパイプライン互換性情報を用いて,パイプライン探索木を刈り取ることで,メートル法駆動のマージ操作を定義し,高速化する。 MLCaskの有効性は、いくつかの実世界の展開事例に関する広範な研究を通じて評価される。
  論文  参考訳（メタデータ） (2020-10-17T13:34:48Z)
• Petri Nets with Parameterised Data: Modelling and Verification (Extended Version) [67.99023219822564]
  我々は、カタログネットと呼ばれるカラーペトリネットの拡張を紹介し、研究し、このタイプのプロセスを捉える2つの重要な特徴を提供する。 我々は、新しい価値注入が特に扱いにくい機能であることを示し、それを改ざんするための戦略について議論する。
  論文  参考訳（メタデータ） (2020-06-11T17:26:08Z)
• Rethinking Learning-based Demosaicing, Denoising, and Super-Resolution Pipeline [86.01209981642005]
  本研究では,パイプラインが学習ベースDN,DM,SRの混合問題に与える影響について,逐次解とジョイント解の両方で検討する。 我々の提案するパイプラインDN$to$SR$to$DMは、他のシーケンシャルパイプラインよりも一貫してパフォーマンスが向上する。 混合問題に対する最先端の性能を実現するために, エンドツーエンドのトリニティ・カメラ・エンハンスメント・ネットワーク(TENet)を提案する。
  論文  参考訳（メタデータ） (2019-05-07T13:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。